en
en
Источник
ICOMP
Дата публикации
10.10.2024
Авторы
Александр Безносиков Айбек Аланов Дмитрий Ковалев Martin Takáč Александр Гасников
Поделиться

On Scaled Methods for Saddle Point Problems

Аннотация

Methods with adaptive scaling of different features play a key role in solving saddle point problems, primarily due to Adam's popularity for solving adversarial machine learning problems, including GANS training. This paper carries out a theoretical analysis of the following scaling techniques for solving SPPs: the well-known Adam and RmsProp scaling and the newer AdaHessian and OASIS based on Hutchison approximation. We use the Extra Gradient and its improved version with negative momentum as the basic method. Experimental studies on GANs show good applicability not only for Adam, but also for other less popular methods.

Читать в источнике Cкачать pdf

Похожие публикации

NeurIPS
HyperDomainNet: Universal Domain Adaptation for Generative Adversarial Networks
Айбек Аланов, Вадим Титов, Дмитрий Ветров
Читать источник
ICOMP
FRanDI: Data-Free Neural Network Compression via Feature Regression and Deep Inversion
Константин Соболев, Дмитрий Ермилов, Николай Козырский, Anh-Huy Phan
Читать источник
KI
Star-Shaped Denoising Diffusion Probabilistic Models (Extended Abstract)
Андрей Охотин, Дмитрий Молчанов, Владимир Архипкин, Григорий Бартош, Виктор Оганесян, Айбек Аланов, Дмитрий Ветров
Читать источник
IEEE Access
ImproveYourVideos: Architectural Improvements for Text-to-Video Generation Pipeline
Владимир Архипкин, Zein Shaheen, Вячеслав Васильев, Елизавета Дахова , Константин Соболев, Андрей Кузнецов, Денис Димитров
Читать источник
NeurIPS
HairFastGAN: Realistic and Robust Hair Transfer with a Fast Encoder-Based Approach.
Максим Николаев, Михаил Кузнецов, Дмитрий Ветров, Айбек Аланов
Читать источник
NeurIPS
Group and Shuffle: Efficient Structured Orthogonal Parametrization
Михаил Горбунов, Николай Юдин, Вера Соболева, Айбек Аланов, Алексей Наумов, Максим Рахуба
Читать источник
NeurIPS
Optimal Flow Matching: Learning Straight Trajectories in Just One Step
Никита Корнилов, Петр Мокров, Александр Гасников, Александр Коротин
Читать источник
Связаться
Присоединяйтесь к AIRI в соцсетях
Вы можете задать нам вопрос или предложить совместный проект в области ИИ

Сообщение отправлено.

Спасибо!

Что-то пошло не так. Попробуйте снова