Научный сотрудник в команду Industrial AI (ML Engineer in Multi-modal Audio/Speech/EEG Processing)

Обязанности

Ищем исследователя, который будет заниматься разработкой и применением мультимодальных моделей в аудио-видео домене, а также мультимодальным машинным переводом для различных типов данных, таких как аудио, видео, fMRI, EEG и музыка. Так же особенное внимание уделяется разработке широкого спектра мультимодальных трансляционных моделей - начиная от речи, музыки и эмоций и заканчивая речи младенцев и животных.

Примерный список задач:

• Разработка и внедрение мультимодальных моделей для обработки и синхронизации данных из различных источников (аудио, видео, нейрофизиологические данные, музыка).
• Применение методов цифровой обработки сигналов (DSP) для предварительной обработки и улучшения качества данных перед их использованием в моделях.
• Создание систем мультимодального машинного перевода, способных работать с такими типами данных, как аудио, видео, fMRI, EEG и музыка.
• Разработка и тестирование моделей для перевода жестового языка, а также анализа и интерпретации речи животных и младенцев.
• Исследование методов интеграции данных из различных модальностей для улучшения качества перевода и понимания информации.