非凸随机Bregman近端梯度法及其深度学习应用

非凸随机Bregman近端梯度法及其在深度学习中的应用

摘要

最小化非凸复合目标函数的随机梯度方法通常依赖于可微分部分的Lipschitz平滑性，但该假设在二次逆问题和神经网络训练等重要问题类别中失效，导致算法在理论和实践中的不稳定性。为此，提出了一类仅需平滑自适应性的随机Bregman近端梯度法（SBPG）。SBPG使用Bregman邻近度量替代SGD中的二次近似，提供了更好的近似模型，可处理非凸目标中的非Lipschitz梯度。

建立了原始SBPG的收敛特性，证明其在非凸设置下达到最优样本复杂度。在二次逆问题上的实验结果表明，SBPG在步长选择和初始点敏感性方面具有鲁棒性。进一步提出了基于动量的变体MSBPG，通过放宽小批量大小要求同时保持最优oracle复杂度来增强收敛性。

将MSBPG应用于深度神经网络训练，利用多项式核函数确保损失函数的平滑自适应性。在基准数据集上的实验结果证实了MSBPG在训练神经网络中的有效性和鲁棒性。鉴于其在大规模优化中与SGD相比可忽略的额外计算成本，MSBPG有望成为未来应用的通用开源优化器。

关键词

随机优化 · Bregman散度 · 非凸优化 · 深度学习 · 近端梯度法

1 引言

传统随机梯度下降(SGD)方法在处理非Lipschitz梯度的非凸问题时存在局限性。本文提出的SBPG方法通过Bregman divergence构建更合适的邻近项，为这类问题提供了新的解决方案。

2 方法

2.1 SBPG算法框架

SBPG算法的核心在于使用Bregman距离函数Dψ(x,y) = ψ(x) - ψ(y) - ⟨∇ψ(y), x-y⟩替代传统的欧几里得距离，其中ψ是 Legendre函数。

2.2 动量扩展(MSBPG)

引入动量项的MSBPG变体通过累积历史梯度信息加速收敛，同时降低对小批量大小的敏感性。

3 实验验证

3.1 二次逆问题

在二次逆问题上的实验表明，SBPG在步长选择范围（0.1-2.0）内保持稳定，而传统SGD在步长大于0.5时出现发散。

3.2 深度学习应用

在CIFAR-10和ImageNet数据集上的实验证明，MSBPG在ResNet-50和VGG-16架构上实现了与Adam相当的性能，同时表现出更好的训练稳定性。

4 结论

SBPG方法为处理非Lipschitz平滑问题提供了有效框架，其动量扩展MSBPG在深度学习任务中展现出作为通用优化器的潜力。未来工作将探索更多Bregman散度的选择及其在不同架构中的应用。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
公众号二维码