en
en
Источник
ACL Workshop
Дата публикации
31.07.2025
Авторы
Елисей Рыков В. Олисов Максим Савкин Артем Важенцев Ксения Титова Александр Панченко Василий Коновалов Юлия Беликова
Поделиться

SmurfCat at SemEval- 2025 Task 3: Bridging External Knowledge and Model Uncertainty for Enhanced Hallucination Detection

Аннотация

The Multilingual shared-task on Hallucinationsand Related Observable Overgeneration Mistakesin the SemEval-2025 competition aimsto detect hallucination spans in the outputs ofinstruction-tuned LLMs in a multilingual context.In this paper, we address the detection ofspan hallucinations by applying an ensembleof approaches. In particular, we synthesizeda dataset and fine-tuned LLM to detect hallucinationspans. In addition, we combined thisapproach with a white-box method based on uncertaintyquantification techniques. Using ourcombined pipeline, we achieved 3rd place indetecting span hallucinations in Arabic, Catalan,Finnish, Italian, and ranked within the topten for the rest of the languages.

Похожие публикации

ACL Workshop
FactDebug at SemEval-2025 Task 7: Hybrid Retrieval Pipeline for Identifying Previously Fact-Checked Claims Across Multiple Languages
Евгений Николаев, Иван Бондаренко, Ислам Аушев, Василий Крикунов, Андрей Глинский, Василий Коновалов, Юлия Беликова
Читать источник
ACL Workshop
TabaQA at SemEval-2025 Task 8: Column Augmented Generation for Question Answering over Tabular Data
Екатерина Антропова, Егор Кратков, Роман Дерунец, Маргарита Трофимова, Иван Бондаренко, Александр Панченко, Василий Коновалов, Максим Савкин
Читать источник
AIED
Beyond Detection: Rethinking Education in the Age of AI-writing
Мария Марьина, Александр Панченко, Василий Коновалов
Читать источник
ACL
Uncertainty Quantification for Large Language Models
Артем Шелманов, Максим Панов, Roman Vashurin, Артем Важенцев, Екатерина Фадеева, Timothy Baldwin
Читать источник
ACL
BRIGHTER: BRIdging the Gap in Human-Annotated Textual Emotion Recognition Datasets for 28 Languages
Shamsuddeen Hassan Muhammad, Nedjma Ousidhoum, Idris Abdulmumin, Jan Philip Wahle, Terry Ruas, Meriem Beloucif, Christine De Kock, Nirmal Surange, Daniela Teodorescu, Ibrahim Said Ahmad, David Ifeoluwa Adelani, Alham Fikri Aji, Felermino DMA Ali, Ilseyar Alimova, Vladimir Araujo, Николай Бабаков, Naomi Baes, Ana-Maria Bucur, Andiswa Bukula, Guanqun Cao, Rodrigo Tufino Cardenas, Rendi Chevi, Chiamaka Ijeoma Chukwuneke, Alexandra Ciobotaru, Дарина Дементьева, Murja Sani Gadanya, Robert Geislinger, Bela Gipp, Oumaima Hourrane, Oana Ignat, Falalu Ibrahim Lawan, Rooweither Mabuya, Rahmad Mahendra, Vukosi Marivate, Andrew Piper, Александр Панченко, Charles Henrique Porto Ferreira, Виталий Протасов, Samuel Rutunda, Manish Shrivastava, Aura Cristina Udrea, Lilian Diana Awuor Wanzare, Sophie Wu, Florian Valentin Wunderlich, Hanif Muhammad Zhafran, Tianhui Zhang, Yi Zhou, Saif M. Mohammad
Читать источник
ACL Workshop
SemEval-2025 Task 11: Bridging the Gap in Text-Based Emotion Detection
Shamsuddeen Hassan Muhammad, Nedjma Ousidhoum, Idris Abdulmumin, Seid Muhie Yimam, Jan Philip Wahle, Terry Ruas, Meriem Beloucif, Christine De Kock, Tadesse Destaw Belay, Ibrahim Said Ahmad, Nirmal Surange, Daniela Teodorescu, David Ifeoluwa Adelani, Alham Fikri Aji, Felermino Ali, Vladimir Araujo, Abinew Ali Ayele, Oana Ignat, Александр Панченко, Yi Zhou, Saif M. Mohammad
Читать источник
ACL
Adaptive Retrieval Without Self-Knowledge? Bringing Uncertainty Back Home
Виктор Москворецкий, Мария Лысюк, Михаил Сальников, Николай Иванов, Сергей Плетенёв, Дарья Галимзянова, Никита Крайко, Василий Коновалов, Ирина Никишина, Александр Панченко
Читать источник
Связаться
Присоединяйтесь к AIRI в соцсетях
Вы можете задать нам вопрос или предложить совместный проект в области ИИ

Сообщение отправлено.

Спасибо!

Что-то пошло не так. Попробуйте снова