en
en
Источник
ACL / GenBench
Дата публикации
16.11.2024
Авторы
Александр Панченко Антон Разжигаев Андрей Кузнецов Денис Димитров Елизавета Гончарова Максим Куркин Ирина Абдуллаева Анастасия Лысенко
Поделиться

OmniGen: A Multimodal Benchmark for Generalization Across Text, Visual, and Audio Modalities

Аннотация

We introduce OmniDialog — the first trimodal comprehensive benchmark grounded in a knowledge graph (Wikidata) to evaluate the generalization of Large Multimodal Models (LMMs) across three modalities. Our benchmark consists of more than 4,000 dialogues, each averaging 10 turns, all annotated and cross-validated by human experts. The dialogues in our dataset are designed to prevent shortcut learning by incorporating various formats and misleading or irrelevant multimodal cues. We also evaluate both multimodal and unimodal models to gain insights into how they process modality inputs introduced in the conversation.

Читать в источнике Cкачать pdf

Похожие публикации

ACL
A System for Answering Simple Questions in Multiple Languages
Антон Разжигаев, Михаил Сальников, Валентин Малых, Павел Браславский, Александр Панченко
Читать источник
CLEF / PAN
Overview of the multilingual text detoxification task at pan 2024
Дарина Дементьева, Даниил Московский, Николай Бабаков, Abinew Ali Ayele, Naquee Rizwan, Florian Schneider, Xintong Wang, Seid Muhie Yimam, Дмитрий Усталов, Елисей Стаковский, Алиса Смирнова, Ashaf Elnagar, Animesh Mukherjee, Александр Панченко
Читать источник
CLEF / PAN
PAN 2024 Multilingual TextDetox: Exploring Cross-lingual Transfer Using Large Language Models
Виталий Протасов
Читать источник
CLEF / PAN
SomethingAwful at PAN 2024 TextDetox: Uncensored Llama 3 Helps to Censor Better.
Сергей Плетенёв
Читать источник
ECCV / AIM
AIM 2024 Challenge on Video Saliency Prediction: Methods and Results
Андрей Москаленко, Алексей Брынцев, Дмитрий Ватолин, Radu Timofte, Gen Zhan, Li Yang, Yunlong Tang, Yiting Liao, Jiongzhi Lin, Baitao Huang, Morteza Moradi, Mohammad Moradi, Francesco Rundo, Concetto Spampinato, Ali Borji, Simone Palazzo, Yuxin Zhu, Yinan Sun, Huiyu Duan, Yuqin Cao, Ziheng Jia, Qiang Hu, Xiongkuo Min, Guangtao Zhai, Hao Fang, Runmin Cong, Xiankai Lu, Xiaofei Zhou, Wei Zhang, Chunyu Zhao, Wentao Mu, Tao Deng, Hamed R. Tavakoli
Читать источник
NLDB
S3: A Simple Strong Sample-effective Multimodal Dialog System
Елисей Рыков, Егор Малкершин, Александр Панченко
Читать источник
NLDB
Konstruktor: A Strong Baseline for Simple Knowledge Graph Question Answering
Мария Лысюк, Михаил Сальников, Павел Браславский, Александр Панченко
Читать источник
Связаться
Присоединяйтесь к AIRI в соцсетях
Вы можете задать нам вопрос или предложить совместный проект в области ИИ

Сообщение отправлено.

Спасибо!

Что-то пошло не так. Попробуйте снова