...Ответ на сложный вопрос по длинному документу часто требует нескольких шагов поиска: каждый найденный факт определяет, что искать дальше. Существующие методы (Search-R1, R1-Searcher, RAG-RL) дообучают с подкреплением саму языковую модель. Для этого нужно восемь и более GPU, а крупные и закрытые LLM так в принципе нельзя использовать. В докладе представлен метод Q-RAG (ICLR 2026, oral). В нём многошаговый поиск формулируется как марковский процесс принятия решений, а с подкреплением обучается только компактный эмбеддер при фиксированной LLM. Относительное позиционное кодирование фрагментов позволяет учитывать порядок событий и переносить модель с коротких контекстов на сверхдлинные. Обучение выполняется на одной GPU. На BabiLong и RULER точность поиска не ухудшается при увеличении длины контекста до 10 млн токенов, а на HotPotQA и MuSiQue метод превосходит Search-R1. Также рассматривается влияние функции отложенной награды на обучение ретривера без разметки опорных фактов. Сравниваются награды по сгенерированному ответу, по правдоподобию эталонного ответа и по семантической неопределённости, а также предложенная награда Group Information Gain.
Докладчик
Оппонент
