2025_NIPS_Nonlinearly Preconditioned Gradient Methods: Momentum and Stochastic Analysis

文章主要内容与创新点总结

核心内容

本文聚焦光滑非凸优化问题，研究非线性预处理梯度方法，重点分析类Sigmoid预处理子（自带梯度裁剪特性），提出带动量的改进算法和随机变体，并通过理论推导与实验验证其有效性。

关键创新点

1. 提出带动量的非线性预处理梯度算法（m-NPGM），基于各向异性下降不等式，放宽传统Lipschitz光滑性约束，适用更广泛函数类。
2. 推导该算法在非凸场景下的收敛保证，在广义PL条件下实现线性收敛，且动量设计（预处理梯度的凸组合）区别于传统方法。
3. 构建随机变体算法，在更宽松的噪声假设（弱于有界方差）下证明收敛性，同时覆盖各向同性与可分参考函数。
4. 实验验证（神经网络训练、矩阵分解等任务）表明，所提方法（如HGD、iHGDm）性能优于SGD、Adam等基线方法。

---

翻译部分（Markdown格式）

Abstract

我们研究适用于光滑非凸优化问题的非线性预处理梯度方法，重点关注类Sigmoid预处理子——这类预处理子本质上实现了一种梯度裁剪，与广泛使用的梯度裁剪技术类似。基于这一思路，我们提出一种新型重球型（heavy ball-type）算法，并在广义光滑性条件下提供收敛保证。该广义光滑性条件比传统Lipschitz光滑性约束更宽松，因此能覆盖更广泛的函数类。此外，我们还开发了基