Оценка LLM на длинных контекстах: бенчмарки, результаты и подходы к удлинению контекста

Доклад будет посвящен оценке качества работы больших языковых моделей (LLM) на длинных контекстах. Докладчик обсудит ограничения популярного теста Needle-in-a-haystack и представит новый бенчмарк BABILong, а также результаты тестирования на нём моделей, таких как GPT-4, LLaMA-3.1, Phi-3.5 и других.

Также будет проанализирована эффективность различных подходов к увеличению длины входа и улучшению обработки длинных текстов, включая рекуррентные модели с памятью.

Докладчик

Юрий Куратов

Кандидат физико-математических наук, старший научный сотрудник лаборатории когнитивных систем искусственного интеллекта AIRI

Оппонент

Сергей Николенко

Доктор физико-математических наук, доцент СПбГУ, заведующий лабораторией искусственного интеллекта ПОМИ РАН