en
en
Источник
ACL / TextGraphs
Дата публикации
11.08.2024
Авторы
Андрей Саховский Михаил Сальников Ирина Никишина Аида Усманова A. A. Artemov Cedric Möller Debayan Banerjee Junbo Huang Longquan Jiang Rana Abdullah Xi Yan Дмитрий Усталов Елена Тутубалина Ricardo Usbeck Александр Панченко
Поделиться

TextGraphs 2024 Shared Task on Text-Graph Representations for Knowledge Graph Question Answering

Аннотация

This paper describes the results of the Knowledge Graph Question Answering (KGQA) shared task that was co-located with the TextGraphs 2024 workshop. In this task, given a textual question and a list of entities with the corresponding KG subgraphs, the participating system should choose the entity that correctly answers the question. Our competition attracted thirty teams, four of which outperformed our strong ChatGPT-based zero-shot baseline. In this paper, we overview the participating systems and analyze their performance according to a large-scale automatic evaluation. To the best of our knowledge, this is the first competition aimed at the KGQA problem using the interaction between large language models (LLMs) and knowledge graphs.

Читать в источнике Cкачать pdf

Похожие публикации

ICWSM
Overview of the 10th Social Media Mining for Health (#SMM4H) and Health Real-World Data (HeaRD) Shared Tasks at ICWSM 2025
Graciela Gonzalez-Hernandez, Dongfang Xu, Takeshi Onishi, Guillermo Lopez-Garcia, Ivan Flores, Ari Klein, Abeed Sarker, Jeanne Powell, Swati Rajwal, Pierre Zweigenbaum, Lisa Raithel, Roland Roller, Philippe Thomas, Елена Тутубалина, Tirthankar Dasgupta, Manjira Sinha, Sudeshna Jana, Sedigh Khademi
Читать источник
TACL
Benchmarking Uncertainty Quantification Methods for Large Language Models with LM-Polygraph
Roman Vashurin, Екатерина Фадеева, Артем Важенцев, Аким Цвигун, Даниил Васильев, Rui Xing, Abdelrahman Boda Sadallah, Людмила Рванова, Сергей Петраков, Александр Панченко, Timothy Baldwin, Preslav Nakov, Максим Панов, Артем Шелманов
Читать источник
NAACL
SkipCLM: Enchancing Crosslingual Alignment of Decoder Transformer Models via Contrastive Learning and Skip Connection
Никита Сушко, Александр Панченко, Елена Тутубалина
Читать источник
NAACL
Through the Looking Glass: Common Sense Consistency Evaluation of Weird Images
Елисей Рыков, Ксения Петрушина, Ксения Титова, Антон Разжигаев, Александр Панченко, Василий Коновалов
Читать источник
NAACL
How Much Knowledge Can You Pack into a LoRA Adapter without Harming LLM?
Сергей Плетенёв, Мария Марьина, Даниил Московский, Василий Коновалов, Павел Браславский, Александр Панченко, Михаил Сальников
Читать источник
NAACL
Token-Level Density-Based Uncertainty Quantification Methods for Eliciting Truthfulness of Large Language Models
Артем Важенцев, Людмила Рванова, Иван Лазичный, Александр Панченко, Максим Панов, Timothy Baldwin, Артем Шелманов
Читать источник
NAACL
SynthDetoxM: Modern LLMs are Few-Shot Parallel Detoxification Data Annotators
Даниил Московский, Никита Сушко, Сергей Плетенёв, Александр Панченко, Елена Тутубалина
Читать источник
Связаться
Присоединяйтесь к AIRI в соцсетях
Вы можете задать нам вопрос или предложить совместный проект в области ИИ

Сообщение отправлено.

Спасибо!

Что-то пошло не так. Попробуйте снова