en
en
Источник
ACL
Дата публикации
11.08.2024
Авторы
Елена Тутубалина Александр Панченко Ирина Никишина Михаил Сальников A. A. Artemov Андрей Саховский Аида Усманова Cedric Möller Debayan Banerjee Junbo Huang Longquan Jiang Rana Abdullah Xi Yan Дмитрий Усталов Ricardo Usbeck
Поделиться

TextGraphs 2024 Shared Task on Text-Graph Representations for Knowledge Graph Question Answering

Аннотация

This paper describes the results of the Knowledge Graph Question Answering (KGQA) shared task that was co-located with the TextGraphs 2024 workshop. In this task, given a textual question and a list of entities with the corresponding KG subgraphs, the participating system should choose the entity that correctly answers the question. Our competition attracted thirty teams, four of which outperformed our strong ChatGPT-based zero-shot baseline. In this paper, we overview the participating systems and analyze their performance according to a large-scale automatic evaluation. To the best of our knowledge, this is the first competition aimed at the KGQA problem using the interaction between large language models (LLMs) and knowledge graphs.

Читать в источнике Cкачать pdf

Похожие публикации

ACL
A System for Answering Simple Questions in Multiple Languages
Антон Разжигаев, Михаил Сальников, Валентин Малых, Павел Браславский, Александр Панченко
Читать источник
EMNLP
xCOMET-lite: Bridging the Gap Between Efficiency and Quality in Learned MT Evaluation Metrics
Даниил Ларионов, Михаил Селезнёв, Василий Висков, Александр Панченко, Steffen Eger
Читать источник
EMNLP
SparseGrad: A Selective Method for Efficient Fine-tuning of MLP Layers
Виктория Чекалина, Анна Руденко, Глеб Мезенцев, Александр Михалев, Александр Панченко, Иван Оселедец
Читать источник
EMNLP
Lost in Translation: Chemical Language Models and the Misunderstanding of Molecule Structures
Вероника Ганеева, Андрей Саховский, Кузьма Храбров, Андрей Савченко, Артур Кадурин, Елена Тутубалина
Читать источник
EMNLP
Efficient Answer Retrieval System (EARS): Combining Local DB Search and Web Search for Generative QA
Никита Крайко, Иван Сидоров, Фёдор Лапутин, Дарья Галимзянова, Василий Коновалов
Читать источник
EMNLP
LLMs to Replace Crowdsourcing For Parallel Data Creation: The Case of Text Detoxification
Даниил Московский, Сергей Плетенёв, Александр Панченко
Читать источник
EMNLP
DeepPavlov 1.0: Your Gateway to Advanced NLP Models Backed by Transformers and Transfer Learning
Максим Савкин, Анастасия Вознюк, Фёдор Игнатов, Анна Корзанова, Дмитрий Карпов, Александр Попов, Василий Коновалов
Читать источник
Связаться
Присоединяйтесь к AIRI в соцсетях
Вы можете задать нам вопрос или предложить совместный проект в области ИИ

Сообщение отправлено.

Спасибо!

Что-то пошло не так. Попробуйте снова