Researcher для проекта предсказания мультимодальных графов 3D-сцены (Cognitive AI Systems / AIRI)

Мы приглашаем исследователей в области компьютерного зрения присоединиться к работе в лаборатории Cognitive AI Systems в AIRI над проектом, посвященному предсказанию мультимодальных графов 3D-сцены.Граф сцены - это компактная и структурированная модель 3D-пространства, которая может содержать в себе различные модальности (RGB-изображения, облака точек, текстовые описания объектов, отношения между ними). В настоящее время графы сцены активно применяются в робототехнике для планирования действий при решении сложных задач, для создания диалоговых систем оператора с роботами. Однако качество построения графов сцены даже SOTA-методами всё ещё далеко от идеального в условиях шумных данных,  движущейся камеры, большом количестве перекрытий, необычных ракурсов и т.п.

В нашей лаборатории мы активно исследуем методы построения и прогнозирования изменений графов 3D-сцены по сенсорным данным и их использования в робототехнических задачах.

Мы публикуем результаты наших исследований на топовых конференциях по робототехнике и компьютерному зрению и внедряем их на реальных роботах. Поэтому, если вам интересно решать фундаментальные задачи и видеть их применение в реальных сценариях, то мы вас ждём.

• проводить исследования в области анализа мультимодальных данных (RGB, depth, облака точек, текст), трансформерных архитектур (в том числе VLM, MLLM), робототехники;
• прототипировать и улучшать AI архитектуры (multimodal data, transformers, GNN) ;
• создавать датасеты и бенчмарки на основе данных с сенсоров роботов;
• публиковаться на топ-конференциях (CVPR, ICCV, NeurIPS, ICRA и др.).