Мультимодальные модели с рассуждениями: принципы, конструирование данных и валидация результатов

Как научить модели не только «видеть» и «читать», но и связывать информацию из разных модальностей в цепочки рассуждений? В докладе разберём, в чем особенности рассуждающих мультимодальных и текстовых моделей. Разберем пайплайны сбора данных, данные для обучения модели, а также рассмотрим наиболее интересные существующие работы. Более подробно обсудим, как синтетические данные могут улучшить качество мультимодального ризонинга

Докладчик

Елизавета Гончарова

кандидат компьютерных наук, руководитель группы «Мультимодальный ИИ» Лаборатории Fusion Brain AIRI

Оппонент

Владимир Иванов

руководитель Лаборатории методов обработки естественного языка в программной инженерии, Доцент Университета Иннополис