Dive-into-DL-PyTorch项目解析：动量法原理与实现详解

Dive-into-DL-PyTorch项目解析：动量法原理与实现详解

Dive-into-DL-PyTorch 本项目将《动手学深度学习》(Dive into Deep Learning)原书中的MXNet实现改为PyTorch实现。 项目地址: https://gitcode.com/gh_mirrors/di/Dive-into-DL-PyTorch

引言

在深度学习优化算法中，动量法（Momentum）是一种非常重要的优化技术，它能够显著改善传统梯度下降法在特定场景下的性能。本文将深入探讨动量法的核心原理、数学推导以及PyTorch实现，帮助读者全面理解这一优化技术。

梯度下降的局限性

在分析动量法之前，我们需要先了解传统梯度下降方法存在的问题。考虑一个二维目标函数：

f(x) = 0.1x₁² + 2x₂²

这个函数的特点是：

• 在x₁方向（水平）上曲率较小（系数0.1）
• 在x₂方向（竖直）上曲率较大（系数2）

使用标准梯度下降法时，我们会遇到以下问题：

1. 学习率选择困境：

   • 如果学习率设置较大，在曲率大的方向（x₂）上容易发散
   • 如果学习率设置较小，在曲率小的方向（x₁）上收敛缓慢

2. 振荡问题：

   • 在曲率大的方向上，梯度值较大，导致参数更新幅度大
   • 这种大幅更新可能导致参数在最优解附近来回振荡

实验表明，当学习率η=0.4时，x₂方向上的更新已经接近稳定，但x₁方向收敛缓慢；而当η=0.6时，x₂方向上的参数更新就会发散。

动量法原理

动量法的核心思想是引入"速度"的概念，使参数的更新不仅考虑当前梯度，还考虑历史梯度的累积效果。这类似于物理学中的动量概念——物体的运动趋势不仅取决于当前的受力，还受到之前运动状态的影响。

数学表达

动量法的更新公式如下：

vₜ = γvₜ₋₁ + ηgₜ
xₜ = xₜ₋₁ - vₜ

其中：

• vₜ是当前时间步的速度
• γ是动量系数（0 ≤ γ < 1）
• η是学习率
• gₜ是当前梯度

指数加权移动平均

要深入理解动量法，需要了解指数加权移动平均（Exponentially Weighted Moving Average, EWMA）的概念。给定超参数γ，EWMA定义为：

yₜ = γyₜ₋₁ + (1-γ)xₜ

展开后可以看到，yₜ实际上是过去所有x值的加权和，权重按指数衰减。当γ接近1时，yₜ可以看作是对最近1/(1-γ)个时间步x值的近似平均。

动量法的EWMA解释

将动量法的速度变量改写为：

vₜ = γvₜ₋₁ + (1-γ)(ηgₜ/(1-γ))

可以看出，vₜ实际上是对序列{ηgₜ/(1-γ)}的指数加权移动平均。这意味着：

1. 当前更新方向不仅取决于当前梯度，还受到历史梯度的影响
2. 当连续多个梯度方向一致时，更新会得到加强
3. 当梯度方向频繁变化时，更新会被削弱

这种特性使得动量法在以下场景表现优异：

• 目标函数在不同方向上曲率差异大时
• 梯度存在噪声或波动较大时
• 需要穿越平缓区域（plateau）时

动量法实现

从零开始实现

在PyTorch中，我们可以这样实现动量法：

1. 初始化速度变量（与参数同形状）
2. 在每个迭代步骤中：
   • 计算当前梯度
   • 更新速度：v = γ·v + η·g
   • 更新参数：θ = θ - v

关键实现要点：

• 需要为每个参数维护一个对应的速度变量
• 动量系数γ通常设置为0.5-0.99之间的值
• 学习率η可能需要比普通SGD设置得更小

实验表明，当γ=0.5时，相当于考虑最近2个时间步的梯度；当γ=0.9时，相当于考虑最近10个时间步的梯度。较大的γ值通常需要配合更小的学习率。

PyTorch内置实现

PyTorch的优化器torch.optim.SGD已经内置了动量法的支持，只需设置momentum参数即可：

optimizer = torch.optim.SGD(params, lr=0.004, momentum=0.9)

动量法的优势与调参建议

优势

1. 加速收敛：在曲率较小的方向上，历史梯度的累积效应可以加速移动
2. 抑制振荡：在曲率较大的方向上，动量效应可以平滑更新，减少振荡
3. 逃离局部极小值：动量可以帮助参数逃离浅层局部极小值
4. 穿越平缓区域：在梯度很小的区域，动量可以维持参数更新

调参建议

1. 动量系数γ：

   • 常用值：0.5、0.9、0.99
   • γ越大，考虑的历史梯度越多，更新越平滑
   • 但过大的γ可能导致更新惯性太强，错过最优解

2. 学习率η：

   • 通常比普通SGD的学习率小
   • γ越大，η通常需要设置得越小
   • 可以按照1/(1-γ)的比例缩放原始学习率

3. 组合策略：

   • 可以初始使用较小的γ，随着训练逐渐增大
   • 也可以采用学习率衰减策略配合动量法

总结

动量法是深度学习优化中的重要技术，它通过引入速度变量和指数加权平均的思想，有效解决了传统梯度下降法在病态曲率问题上的局限性。理解动量法的数学原理和实现细节，对于在实际深度学习项目中正确应用和调参至关重要。

关键要点：

• 动量法通过累积历史梯度信息来平滑更新方向
• 指数加权移动平均是理解动量法的数学基础
• 动量系数和学习率需要合理搭配
• PyTorch提供了便捷的内置实现

掌握动量法不仅有助于理解更复杂的优化算法（如Adam、RMSProp等），也是提升模型训练效果的重要工具。

Dive-into-DL-PyTorch 本项目将《动手学深度学习》(Dive into Deep Learning)原书中的MXNet实现改为PyTorch实现。 项目地址: https://gitcode.com/gh_mirrors/di/Dive-into-DL-PyTorch