Обзор мультимодальных сред для обучения с подкреплением

Аннотация

В данной статье представлен обзор и сравнительный анализ мультимодальных виртуальных сред для обучения с подкреплением. Рассмотрены семь различных сред, включая HomeGrid, BabyAI, RTFM, Messenger, Touchdown, Alfred и IGLU, с акцентом на их особенности и требования к агентам. Основное внимание уделено таким параметрам, как сложность текстовых инструкций, динамичность среды. Проведенный анализ выявляет сильные и слабые стороны каждой среды, позволяя определить оптимальные условия для эффективного обучения агентов, а также подчеркивает необходимость создания более сбалансированных сред, сочетающих высокие требования как к пониманию языка, так и к взаимодействию с окружением.