en
en
Источник
NAACL
Дата публикации
29.04.2025
Авторы
Елисей Рыков Ксения Петрушина Ксения Титова Антон Разжигаев Александр Панченко Василий Коновалов
Поделиться

Through the Looking Glass: Common Sense Consistency Evaluation of Weird Images

Аннотация

Measuring how real images look is a complextask in artificial intelligence research. For example,an image of a boy with a vacuum cleanerin a desert violates common sense. We introducea novel method, which we call Throughthe Looking Glass (TLG), to assess image commonsense consistency using Large Vision-Language Models (LVLMs) and Transformerbasedencoder. By leveraging LVLMs to extractatomic facts from these images, we obtaina mix of accurate facts. We proceed byfine-tuning a compact attention-pooling classifierover encoded atomic facts. Our TLG hasachieved a new state-of-the-art performanceon the WHOOPS! and WEIRD datasets whileleveraging a compact fine-tuning component.

Читать в источнике Cкачать pdf

Похожие публикации

NAACL
SkipCLM: Enchancing Crosslingual Alignment of Decoder Transformer Models via Contrastive Learning and Skip Connection
Никита Сушко, Александр Панченко, Елена Тутубалина
Читать источник
NAACL
How Much Knowledge Can You Pack into a LoRA Adapter without Harming LLM?
Сергей Плетенёв, Мария Марьина, Даниил Московский, Василий Коновалов, Павел Браславский, Александр Панченко, Михаил Сальников
Читать источник
NAACL
LLM-Microscope: Uncovering the Hidden Role of Punctuation in Context Memory of Transformers
Антон Разжигаев, Матвей Михальчук, Темурбек Рахматуллаев, Елизавета Гончарова, Полина Дружинина, Иван Оселедец, Андрей Кузнецов
Читать источник
NAACL
Token-Level Density-Based Uncertainty Quantification Methods for Eliciting Truthfulness of Large Language Models
Артем Важенцев, Людмила Рванова, Иван Лазичный, Александр Панченко, Максим Панов, Timothy Baldwin, Артем Шелманов
Читать источник
NAACL
SynthDetoxM: Modern LLMs are Few-Shot Parallel Detoxification Data Annotators
Даниил Московский, Никита Сушко, Сергей Плетенёв, Александр Панченко, Елена Тутубалина
Читать источник
ICLR
A3D: Does Diffusion Dream about 3D Alignment?
Савва Игнатьев, Нина Коновалова, Даниил Селиханович, Олег Войнов, Николай Патакин, Илья Ольков, Дмитрий Сенюшкин, Алексей Артемов, Антон Конушин, Александр Филиппов, Peter Wonka, Евгений Бурнаев
Читать источник
NAACL
SPY: Enhancing Privacy with Synthetic PII Detection Dataset
Максим Савкин, Тимур Ионов, Василий Коновалов
Читать источник
Связаться
Присоединяйтесь к AIRI в соцсетях
Вы можете задать нам вопрос или предложить совместный проект в области ИИ

Сообщение отправлено.

Спасибо!

Что-то пошло не так. Попробуйте снова