en
en
Источник
ACL
Дата публикации
11.08.2024
Авторы
Елена Тутубалина Александр Панченко Ирина Никишина Михаил Сальников A. A. Artemov Андрей Саховский Аида Усманова Cedric Möller Debayan Banerjee Junbo Huang Longquan Jiang Rana Abdullah Xi Yan Дмитрий Усталов Ricardo Usbeck
Поделиться

TextGraphs 2024 Shared Task on Text-Graph Representations for Knowledge Graph Question Answering

Аннотация

This paper describes the results of the Knowledge Graph Question Answering (KGQA) shared task that was co-located with the TextGraphs 2024 workshop. In this task, given a textual question and a list of entities with the corresponding KG subgraphs, the participating system should choose the entity that correctly answers the question. Our competition attracted thirty teams, four of which outperformed our strong ChatGPT-based zero-shot baseline. In this paper, we overview the participating systems and analyze their performance according to a large-scale automatic evaluation. To the best of our knowledge, this is the first competition aimed at the KGQA problem using the interaction between large language models (LLMs) and knowledge graphs.

Читать в источнике Cкачать pdf

Похожие публикации

ICLR
Gradual Optimization Learning for Conformational Energy Minimization
Артем Цыпин, Леонид Угадяров, Кузьма Храбров, Александр Телепов, Егор Румянцев, Алексей Скрынник, Александр Панов, Дмитрий Ветров, Елена Тутубалина, Артур Кадурин
Читать источник
ACL
Fact-Checking the Output of Large Language Models via Token-Level Uncertainty Quantification
Екатерина Фадеева, Александр Рубашевский, Артем Шелманов, Сергей Петраков, Haonan Li, Hamdy Mubarak, Евгений Цымбалов, Глеб Кузмин, Александр Панченко, Timothy Baldwin, Preslav Nakov, Максим Панов
Читать источник
ACL
Industry vs Academia: Running a Course on Transformers in Two Setups
Ирина Никишина, Мария Тихонова, Виктория Чекалина, Алексей Зайцев, Артем Важенцев, Александр Панченко
Читать источник
ACL
JellyBell at TextGraphs-17 Shared Task: Fusing Large Language Models with External Knowledge for Enhanced Question Answering
Юлия Беликова, Евгений Белякин, Василий Коновалов
Читать источник
ACL
MERA: A Comprehensive LLM Evaluation in Russian
Алена Феногенова, Артём Червяков, Никита Мартынов, Анастасия Козлова, Мария Тихонова, Альбина Ахметгареева, Антон Емельянов, Денис Шевелев, Павел Лебедев, Леонид Синев, Катерина Коломейцева, Даниил Московский, Елизавета Гончарова, Никита Савушкин, Полина Михайлова, Анастасия Минаева, Денис Димитров, Александр Панченко, Сергей Марков
Читать источник
ACL
Proceedings of TextGraphs-17: Graph-based Methods for Natural Language Processing
Дмитрий Усталов, Александр Панченко, Yanjun Gao, Ирина Никишина, Arti Ramesh, Андрей Саховский, Елена Тутубалина, Gerald Penn, Gerald Valentino, Ricardo Usbeck
Читать источник
ACL
Skoltech at TextGraphs-17 Shared Task: Finding GPT-4 Prompting Strategies for Multiple Choice Questions
Мария Лысюк, Павел Браславский
Читать источник
Связаться
Присоединяйтесь к AIRI в соцсетях
Вы можете задать нам вопрос или предложить совместный проект в области ИИ

Сообщение отправлено.

Спасибо!

Что-то пошло не так. Попробуйте снова