Оптимальные алгоритмы асинхронного и параллельного обучения

Параллельная и асинхронная оптимизация являются важными исследовательскими направлениями благодаря современному «буму» больших глубоких и языковых моделей (ChatGPT, DALL-E), которые требуют огромные вычислительные ресурсы и длительное время обучения. Параллельная оптимизация позволяет соблюдать сохранность данных внутри вычислительных ресурсов и ускорять общение между ними по каналам коммуникаций.

В этом докладе Александр рассмотрит проблему разработки методов, когда устройства (CPU, GPU, телефоны) асинхронно считают стохастические градиенты. Также обсудит оптимальные асинхронные и параллельные методы и нижние оценки для времени решения задач, которые не могут быть преодолены никакими другими алгоритмами.