随机动量梯度法的末点收敛性分析

随机动量梯度法在Kurdyka-Lojasiewicz不等式下的末点收敛性

Yuqing Liang, Dongpo Xu; 26(123):1−51, 2025.

摘要

随机梯度算法被广泛用于解决机器学习中的有限和优化问题。然而，其理论特性仍需进一步探索，尤其是在非凸设定下的末点收敛性。本文研究了随机动量梯度方法（一种带动量的随机梯度算法）的末点收敛行为。具体而言，重点分析了非凸场景，并在任意混洗策略下提供了理论保证。对于非凸目标函数，实现了末点梯度范数的收敛，表明迭代序列的每个聚点都是该非凸问题的稳定点。分析还揭示了末点的函数值收敛到一个有限值。此外，还得到了最小迭代点处梯度范数的渐近收敛率。通过采用均匀无放回抽样策略，进一步为最小迭代点输出实现了改进的收敛率。在Kurdyka-Lojasiewicz不等式条件下，建立了具有挑战性的强极限点收敛结果。特别地，证明了整个迭代序列收敛到有限和问题的一个稳定点。通过选择合适的步长，也获得了对应的末点收敛率，与强凸设定下的现有结果相匹配。鉴于在应用场景中通常更倾向于将最后一次迭代作为算法的输出，本文有助于缩小理论与实践之间的差距。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）