Передача голоса по
Добро пожаловать в подкаст Beyond Lab Walls от Института Солка. Присоединяйтесь к ведущим Изабелле Дэвис и Николь Млынарик в путешествии за кулисы известного исследовательского института в Сан-Диего, Калифорния. Мы проведем вас в лабораторию, чтобы услышать последние открытия в области передовых нейробиологии, биологии растений, рака, старения и многого другого. Исследуйте увлекательный мир науки, слушая истории блестящих умов, стоящих за ним. Здесь, в Солке, мы раскрываем тайны самой жизни и делимся ими за пределами стен лаборатории.

Николь
Всем привет. Меня зовут Николь, и я очень рада быть здесь сегодня с научным сотрудником Солка Тальмо Перейрой. Он использует искусственный интеллект, чтобы помочь биологам понять мозг, растения, болезни и многое другое. Итак, я хотел бы начать подкаст просто с того, чтобы узнать вас немного больше и узнать, откуда вы. Так откуда ты родом, Тальмо?

Тальмо
Да, я родился и вырос в Бразилии. Мы выросли на сельской окраине городка Кампинас, и я переехал в США, когда мне было 16. Но до этого моя мама иммигрировала в США в надежде найти работу и поддержать нашу семью дома, и все это время Меня воспитывали бабушка и дядя, страдающий параличом нижних конечностей, пока у нас не появилось достаточно денег и возможность переехать в США, чтобы получить образование как способ избежать социально-экономической неподвижности, в которой мы оказались в Бразилии.

Николь
Ух ты. Это долгий и очень формирующий период в вашей жизни, когда ваша мать физически не находится рядом с вами. Для тебя это было сложно? Я имею в виду, как вы пережили этот период?

Тальмо
Да, это было сложно. Одним из способов справиться с ситуацией в тот период времени, особенно в средней школе, было то, что я не был очень популярен и проводил много времени в Интернете и на своем компьютере, в основном играя в видеоигры. Но затем, чтобы получить несправедливое преимущество в своих видеоиграх, я начал учиться программировать и разработал небольшие скрипты и ботов для автоматизации моего игрового процесса, который в какой-то момент показался мне более интересным, чем сама игра в игры. Позже это действительно принесло свои плоды. Оказалось, что эти навыки действительно востребованы на рынке.

Николь
Да, абсолютно. Делали ли это другие дети в вашем городе или вы занимались этим самостоятельно?

Тальмо
Нет, это было действительно странное стечение факторов. Игра называется Тибия. В игре есть всевозможные скелетные модели. Это ролевая игра, в которой вам просто нужно убивать злодеев, повышать уровень, получать золото и становиться сильнее. Но особенно он почему-то был популярен в Бразилии, Швеции и Польше. Итак, в средней школе у ​​меня появилось много шведских и польских друзей, что, я думаю, в то время никто не считал странным. Но некоторые из них действительно были связаны со сценой кодирования, и некоторые из них как бы привели меня к такого рода сцене кодирования/взлома видеоигр, где я начал просто брать из учебных пособий все основы и просто повторять через MSN. Мессенджер и, знаете, старые доски объявлений.

Николь
Итак, пока вы росли и развивали навыки программирования, чем занималась ваша мама в США?

Тальмо
Во время разлуки она работала, знаете ли, на трех-четырех работах, постоянно убиралась, разносила газеты, ухаживала за стариками, присматривала за детьми. Итак, когда мы переехали сюда, я был очень заинтересован в том, чтобы сделать все это стоящим, отдав все силы своему образованию. Итак, вы знаете, на наш взгляд, версия американской мечты, в которой иммигрант приезжает и добивается успеха, заключается в том, чтобы стать врачом.

Мне очень повезло, что я оказался в Университете Мэриленда, округ Балтимор, в качестве стипендиата Мейергофа. Программа стипендий Мейерхоффа является одной из самых успешных программ в стране по размещению недостаточно представленных меньшинств на программах повышения квалификации в области STEM.

Я начинал по специальности биохимия. Опять же, я собираюсь заняться докторской диссертацией, но я был убежден, что тогда мне захочется заняться исследованием. Итак, я решил, что собираюсь получить степень доктора медицинских наук / доктора философии, и начал искать возможности для исследований, когда учился на бакалавриате. Я сделал это в Гарвардском институте Броуда сразу после первого года обучения и очень убедительно понял, что мои сильные стороны определенно не заключаются в работе на скамейке. Я, должно быть, потратил в несколько раз больше, чем моя стипендия, а также антитела и другие реагенты для молекулярной биологии просто потому, что я всегда ошибался на одном маленьком этапе процедуры или забывал, какая лунка является контрольной, а какая экспериментальным образцом и так далее.

Но следующим летом все завершилось, и весь мой опыт программирования завершился, и я решил попробовать себя в вычислительной нейробиологии. Итак, следующим летом я вернулся в Массачусетский технологический институт, чтобы работать с Себастьяном Саном, который, по сути, пытался предсказать, каковы связи мозга, разбивая его на части и визуализируя. И это просто потребовало большого количества кода и множества технических проблем, связанных с реконструкцией того, как выглядел мозг.

И я полностью влюбился в это, потому что это была действительно моя первая возможность по-настоящему правильно применить все те навыки, которые я приобрел еще когда-то, к серьезной задаче научного исследования. И я понял, что именно в этом мои сильные стороны. Но уж точно не на скамейке запасных. Но я также обнаружил, что мне это действительно нравится. Итак, я продолжал исследовать это на протяжении всей остальной части моего исследовательского опыта, как в Университете Мэриленда, так и следующим летом, когда я работал в Калифорнийском технологическом институте, работая с Дэвидом Андерсоном над количественной оценкой поведения животных.

В конечном итоге это оказался суперпознавательный опыт, потому что то лето полностью определило траекторию моей карьеры. Я подготовил вопросы для исследования. Это позволило мне узнать, каковы общие методы, но также дало мне что-то еще более ценное — видение.

У нас была очень конкретная конечная точка: мы смотрим на всех этих животных и хотим понять, как работает их мозг в контексте того, как они двигаются. Если у вас есть домашние животные, вы, вероятно, сталкивались с этим, но вы просто видите все эти маленькие закономерности в языке их тела, и со временем становится очень ясно и очевидно, что они не просто реагируют. Они определенно следуют очень сложным программам, которыми должен управлять их мозг.

Я смотрел вокруг, и все ведущие ученые вокруг меня тогда, и в значительной степени до сих пор, анализировали поведение, по сути, делая то, что люди делали сотни лет назад, а именно: сидели, наблюдали и просто записывали, когда и как. пока животное выполняет X, Y или Z.

И наверняка должен быть лучший способ, верно? В конечном итоге это стал мотивирующим вопросом как для моей карьеры в аспирантуре, так и для одной из основных задач моей лаборатории здесь, в Солке.

Николь
Я должен спросить, задумывались ли вы когда-нибудь о том, чтобы стать инженером-программистом или заняться информатикой, учитывая, что вы развивали все эти навыки и эта отрасль может быть очень прибыльной.

Тальмо
Да. Да, я очень много думал о промышленности, особенно имея опыт разработки программного обеспечения и формы искусственного интеллекта, называемой глубоким обучением. И я немного исследовал этот путь.

В аспирантуре я взял несколько месяцев отпуска, чтобы пройти стажировку в Google AI, и получил опыт работы штатным научным сотрудником в ведущей отраслевой исследовательской лаборатории, занимаясь, по сути, тем же видом информатики, по крайней мере, той работой, которую я делал раньше. Приложения были не те. Мы не пытались решать какие-либо биологические вопросы, но информатика и математика действительно были неотличимы.

В какой-то момент, когда я заканчивал докторскую диссертацию, мне действительно пришлось принять решение: собираюсь ли я вернуться в промышленность и продолжить этот опыт или пойти по академическому пути, которым я занимаюсь сейчас.

И это было действительно трудное решение, верно? Очевидно, что у нашей семьи не так много денег, поэтому для меня всегда было большим приоритетом поддерживать мою маму и мою семью. И мне обязательно нужно было серьезно поговорить с мамой.

Но, честно говоря, я думаю, что Солк был не только очень привлекателен, но они как бы рано меня поймали. Прежде чем я смог защитить докторскую диссертацию, я действительно планировал широко претендовать как на отраслевые, так и на академические должности, подобные этой. В итоге Кей Тай наняла меня на эту должность. По сути, это было первое место в моем списке того, куда я хотел бы пойти, если бы пошел по академическому пути. Итак, когда я получил предложение приехать в Солк, я увидел, насколько непредвзято они относятся к предоставлению тех ресурсов, которые ученые-компьютерщики обычно не получают в академических условиях, а именно, к предоставлению крупных инвестиций в вычислительную инфраструктуру, которые обычно вам нужны только найти в отраслевых лабораториях - я подумал: ну, думаю, у меня будет достаточно, чтобы провести исследование и сделать его на высшем уровне. Итак, на самом деле дело только в деньгах. И в конечном итоге мы приняли решение, что, знаете ли, денег достаточно.

Николь
Похоже, что программа стипендий Мейергофа сыграла очень важную роль в создании фундамента для вашего будущего обучения и в конечном итоге в Солке. Итак, можете ли вы рассказать нам немного больше об этом опыте?

Тальмо
Да, да, определенно. Итак, Программа стипендий Мейергофа была создана Фрименом Грабовски, борцом за гражданские права, математиком, а затем президентом университета.

Мне очень, очень повезло, что, когда я подошел к концу подачи заявления в колледж, мой школьный консультант сказал: «Вам нужно это сделать, и я заполнил для вас форму назначения, так что вы делаете это». это." Это было типа: ладно, я никогда не слышал об этом, но я действительно боюсь отказать ей.

Было очень важно провести эти летние программы. Возможность поехать в эти места очень воодушевила меня, потому что я мог получить оттуда письма для поступления в аспирантуру. Я работал с ведущими лабораториями и имел возможность проводить исследования на высшем уровне.

Николь
Да, это так здорово. И я думаю, мне интересно, чувствовали ли вы, что вообще смогли оплатить этот опыт в Солке, будучи наставником других студентов?

Тальмо
Да, одна из вещей, которая меня очень волнует в этом году, и это действительно благодаря Управлению по обеспечению равноправия в многообразии, - это то, что у нас скоро будет наша первая летняя программа стипендий для студентов-исследователей, и я получу впервые стать ведущим ведущим одной из этих летних программ. Я очень рад этой возможности, потому что это действительно то, что сформировало мою карьеру, и я очень хочу иметь возможность отдать должное сейчас.

Николь
Хотя я уверен, что это будет потрясающий опыт для стажеров, которым предстоит работать с вами.

Передача голоса по
Если вам понравился этот выпуск Beyond Lab Walls, обязательно посмотрите другие наши каналы на Salk.edu. Там вы можете присоединиться к нашему новому эксклюзивному медиа-каналу Salk Streaming, где вы найдете интервью с нашими учеными, видео о наших последних исследованиях и публичные лекции наших всемирно известных профессоров. Вы также можете ознакомиться с нашим отмеченным наградами журналом Inside Salk и подписаться на нашу ежемесячную рассылку новостей, чтобы быть в курсе событий, происходящих в мире в этих стенах.

Николь
Итак, вы — научный сотрудник Солка здесь, в Институте. Что именно значит быть стипендиатом Солка?

Тальмо
Итак, ребята — это действительно… это очень нетрадиционная позиция. На самом деле в США их всего несколько. Это немного отличается от традиционной академической траектории, когда обычно вы защитите докторскую диссертацию, затем защитите докторскую диссертацию, а затем подаете заявку на постоянную должность доцента. Что эти программы для стипендиатов позволяют вам, так это по сути пропустить этап постдока и как бы направить вас прямо к чему-то промежуточному, где вы будете иметь функциональную независимость. И это означает, что вы получаете пространство. Вы получаете деньги на стартап. Вы получаете возможность нанимать людей. Но преимущества такой структуры должности на самом деле заключаются в том, что вы действительно можете начать свою независимую карьеру прямо после аспирантуры.

Одним из ключевых достижений, благодаря которым эта штука действительно заработала, был тот факт, что я знал, чем хочу заниматься, еще до поступления в аспирантуру, а затем я, по сути, выполнил это и создал, по сути, инструмент, который стал кульминацией моей докторской диссертации. работа, и она была весьма успешной и могла поддержать целую исследовательскую программу вокруг нее.

Николь
Ну, вы упомянули программное обеспечение, которое разработали в аспирантуре. Можете ли вы рассказать нам немного об этом?

Тальмо
Ага. Итак, чтобы получить докторскую степень, я отправился в Принстон, где получил докторскую степень по нейробиологии. На самом деле моей основной целью было просто количественно оценить весь спектр ухаживаний плодовых мух. По сути, я хотел наметить весь ритуал ухаживания дрозофилы (уксусной мухи). Весь этот язык тела, все их маленькие шаги, весь их танец и песня.

Это заставило меня совершить длительный экскурс в информатику, в частности в область искусственного интеллекта, называемую глубоким обучением, где в то время только начинали проявляться возможности его использования для решения множества задач в области компьютерного зрения, и, по сути, вы знать, уметь извлекать информацию из изображений и видео. И это включало в себя задачу отслеживания позы, также известную как захват движения.

Представьте себе костюм для захвата движения, такой же, какой вы видели, возможно, на закулисных съемках Голливуда. По сути, у них есть все эти маленькие точки и все эти шарики, которые актеры должны носить, чтобы они могли запечатлеть их движение, чтобы затем анимировать, знаете ли, таких персонажей, как Шрек, или персонажей «Аватара» и так далее.

Увидев один из них, я понял: подождите, мы могли бы использовать это для животных. Мы не можем заставить их носить костюм. Я не могу захватить движение на своих дрозофилах. Но вся эта штука с глубоким обучением только что показала, что это можно сделать, не имея никаких маркеров и не ставя на них никаких точек. На самом деле все, что требуется, — это заставить алгоритм работать.

Итак, я в основном адаптировал подход, который работал для проблемы отслеживания позы человека, и внес несколько модификаций, чтобы он хорошо работал на лабораторных животных, и приступил к демонстрации того, что в очень общем смысле это будет работать практически для всех видов.

Николь
Да, это отличная идея. И пока вы это объясняете, это кажется почти очевидным, например: почему этого не сделали раньше?

Тальмо
Да, это отличный вопрос. Мне кажется, что все самые потрясающие идеи, знаете ли, обладают этим качеством, верно? Это очевидно и удивительно, что никто не сделал этого раньше. Знаете, существует стечение факторов, которые оказались в нужном месте, чтобы я мог не только осознать, что эта технология будет возможной и применимой здесь, но и иметь возможность довести ее до конца. . Чтобы на самом деле выполнить это.

Николь
Ага. И умение это делать тоже.

Тальмо
Да, и бэкграунд, технический фон, чтобы иметь возможность реализовать это. Думаю, это произошло очень быстро именно по этим причинам. Мы поняли, что да, это действительно хорошая идея, и удивительно, что ее еще никто не реализовал. Но на самом деле это было всего лишь результатом осознания того, что это проблема, и осознания того, что существует технология, на основе которой мы могли бы найти решение.

Николь
Да, это потрясающе. И как же вы внедрили это в свою нынешнюю лабораторию или, возможно, адаптировали для каких-либо других целей?

Тальмо
Одной из следующих вещей, которые мы хотели сделать, было расширить алгоритм для работы с несколькими животными, потому что исходная версия действительно была ограничена для работы с одним животным. И случай с несколькими животными на самом деле оказался гораздо более серьезной проблемой. Это было не так просто, как просто расширить его, чтобы обрабатывать, ну, двоих вместо одного.

На самом деле это был очень большой пробел в знаниях, потому что теперь нам нужно, чтобы наш искусственный интеллект, наш ИИ, мог рассуждать не только о том, где находятся части тела на изображении, но и о том, как их соединить и отслеживать их с течением времени. По сути, ему необходимо узнать, что такое тело или что такое конечность в гораздо более высоком уровне. Это просто более сложная проблема.

Мы решили эту проблему и опубликовали ее как часть метода SLEAP. Люди только что подхватили его и используют для самых разных целей, некоторые из которых теперь переросли в сотрудничество, поскольку у меня есть собственная лаборатория в Солке.

Просто выделю некоторые из них: один из тех, которые, по нашему мнению, были действительно удивительными, заключался в том, что некоторые люди подхватили его и начали использовать для отслеживания движения растений, как в замедленной съемке, так и в других формах визуализации. И да, я имею в виду, почему бы и нет? Все формы жизни способны двигаться в разных временных масштабах. И то, как мы его разработали, не только упрощает использование, но и позволяет легко опробовать новые виды данных.

Итак, сейчас в моей лаборатории ведется полное сотрудничество с лабораторией Вольфганга Буша и Инициативой по использованию растений с целью фенотипирования корневых систем растений с использованием SLEAP. Идея состоит в том, чтобы по существу отслеживать расположение всех кончиков корней и всех точек ветвления, чтобы мы могли выявить такие вещи, как, например, как часто они ветвятся или насколько глубоки и массивны корни, чтобы поддержать другие усилия, направленные на то, чтобы затем свяжите эти качества с конкретными генетическими программами, которые затем можно будет использовать для создания семян, улучшающих секвестрацию углерода и сдерживающих изменение климата. И я ничего не знаю о биологии растений. Я многому научился, но я очень рад быть вовлеченным в это и иметь возможность внести свой вклад в эту область.

И еще одна задача, которая выходит за рамки моих первоначальных целей нейробиологии, — это биология рака, где мы сейчас только начинаем сотрудничество с Дэни Энгл и Кристианом Металло, чтобы, по сути, извлечь маркеры языка тела, указывающие на прогрессирование рака поджелудочной железы.

Мы считаем, что, поскольку рак поджелудочной железы влияет на обмен веществ и впоследствии может изменить то, как животное предпочитает питаться, структуру его кормления, вероятно, очень специфическим образом, с помощью более чувствительного метода, подобного этому, позволяющего отслеживать его 24 часа в сутки, 7 дней в неделю, наши Мы надеемся, что мы сможем: а) связать изменения в языке их тела с изменениями в их метаболизме и б) надеяться, что мы сможем гораздо раньше предсказать, разовьется ли у них рак в конечном итоге, используя только видеоданные, полученные из которых мы извлекаем позу их тела и язык их тела. Если они едят меньше, через более короткие промежутки времени или вообще не едят, это те показатели, которые мы сможем измерить, а также все остальное их поведение, например, испытывают ли они боль или проявляют антисоциальное поведение. и другие маркеры, для которых у нас нет четкого теста, но которые являются очевидными предикторами из-за системного характера такого заболевания, как рак.

Николь
Это так увлекательно.

А теперь напомните мне, как вы используете эти методы для изучения того, как люди воспринимают искусство? Потому что я знаю, что у вас была недавняя совместная работа, в которой вы это рассматривали.

Тальмо
Мы работаем с Музеем искусств округа Лос-Анджелес (LACMA), а также с Томом Олбрайтом и Сергеем Гепштейном здесь, в Солке, над совместной работой по количественной оценке и моделированию поведения посетителей музея, когда они посещают конкретную выставку в музее. ЛАКМА. Итак, мы установили кучу камер. Это группа камер наблюдения вдоль потолка этой выставки, которые, по сути, отслеживают движения всех людей, которые проходят через эту выставку.

Имея цифровую реконструкцию выставки, мы теперь можем сделать выводы о том, куда люди смотрят и что они видят, а также о том, какие визуальные свойства имеет выставка — как с точки зрения пространственной конфигурации, так и с точки зрения расположения экспонатов. выставка, а также расположение экспонатов, цветовые схемы и даже тонкие манипуляции, такие как освещение или другие свойства — как это влияет на то, как они взаимодействуют с выставкой? Проводят ли они больше времени в определенных местах, меняет ли это их траекторию, и можем ли мы предсказать это на основе нашей реконструкции их поведения и их опыта?

Николь
Это так круто. Похоже, у вас так много интересных проектов, охватывающих все эти различные области науки. Это заставляет меня задуматься: из всего, чем вы занимаетесь как учёный, что, по вашему мнению, вам больше всего нравится?

Тальмо
Определенно, одним из моих фаворитов является способность наставлять и поддерживать моих студентов и стажеров. Я считаю это очень полезным.

С научной точки зрения, одна из вещей, которые меня очень волнуют, — это тот факт, что эти методы ИИ действительно своего рода… они не замедляются, верно? Из этих больших языковых моделей, таких как ChatGPT и т. д., вы можете видеть, что этот тип подхода, эта технология будет только становиться больше и более функциональной. И поэтому я очень рад возможности внедрить это во все области лаборатории, включая один проект, который меня особенно волнует.

Наша цель состоит в том, чтобы теперь, когда мы смогли фиксировать поведение, иметь возможность моделировать его. Наша цель в рамках этого проекта, по сути, состоит в том, чтобы создать цифровые аватары наших животных, например мышей с 3D-рендерингом, как если бы они были в видеоиграх, и научить их с помощью ИИ играть в эту видеоигру, где они получают больше очков за имитацию язык тела своих реальных животных, и теперь используют его в качестве опорной точки для изучения мозга, по сути, ограничивая ИИ, чтобы он имел ту же структуру и связи, которые, как мы думаем, имеет настоящий мозг. Итак, теперь мы создаем виртуальный мозг, который управляет виртуальным животным и должен двигаться и вести себя так же, как настоящие животные. Это позволяет нам затем генерировать прогнозы о том, что делает мозг, которые мы можем проверить и использовать, если они неверны, чтобы еще больше ограничить модель и позволить ей делать все более точные прогнозы.

Я очень воодушевлен этой структурой, потому что на самом деле это не проект. Это новое направление исследований, новый способ заниматься нейробиологией. И я думаю, что эта общая формула действительно проникнет во все области науки, потому что вы можете сделать это с любым типом биологической системы, используя ИИ для ее явного моделирования. Я думаю, что это действительно изменит правила игры, и мне очень интересно увидеть, какие открытия мы можем сделать, используя такой подход.

Но в более широком смысле я просто рад возможности внести свой вклад во всю удивительную науку мирового уровня, которая происходит здесь, в Солке, и увидеть, как технология, которую мы разрабатываем, будет использоваться для всех этих супер крутых приложений.

Николь
Да, это так круто. Я хотел задать дополнительный вопрос. Итак, с этой новой технологией, над которой вы работаете, я имею в виду, теоретически, через годы и годы, поможет ли это ученым изучать различные системы организма, возможно, даже не используя модель животного, а вместо этого просто используя эту технологию? Я предполагаю, что, как только это научится, вы сможете ускорить процесс и очень быстро проверять гипотезы.

Тальмо
Я думаю, что это настоящее обещание этой вещи. Но я думаю, что вы абсолютно справились. Это именно так. Это способность генерировать проверяемые гипотезы, а затем повторять их, имея возможность снова включить в нее экспериментальные результаты для постоянного ее улучшения.

Николь
Что ж, мы определенно с нетерпением ждем того, что будет дальше.

А пока я просто хочу поблагодарить вас за то, что вы пришли сегодня на подкаст. Было очень приятно поговорить с вами и узнать о вашем пути к Солку, обо всем, чего вы достигли на данный момент, и обо всем, что у вас есть в работе.

Тальмо
Ага. Огромное спасибо, что вы у меня есть. Я очень взволнован этим.

Передача голоса по
«За пределами лабораторных стен» — производство Управления коммуникаций Солка. Чтобы услышать последние научные истории, исходящие от Salk, подпишитесь на наш подкаст и посетите Salk.edu, чтобы присоединиться к нашему новому эксклюзивному медиа-каналу Salk Streaming. Там вы найдете интервью с нашими учеными, видео о наших последних исследованиях и публичные лекции наших всемирно известных профессоров. Вы также можете ознакомиться с нашим отмеченным наградами журналом Inside Salk и подписаться на нашу ежемесячную рассылку новостей, чтобы быть в курсе событий, происходящих в мире в этих стенах.