Dive-into-DL-TensorFlow2.0 项目解析：动量法在深度学习优化中的应用

Dive-into-DL-TensorFlow2.0 项目解析：动量法在深度学习优化中的应用

Dive-into-DL-TensorFlow2.0 项目地址: https://gitcode.com/gh_mirrors/di/Dive-into-DL-TensorFlow2.0

引言

在深度学习模型的训练过程中，优化算法的选择直接影响着模型的收敛速度和最终性能。传统的梯度下降算法虽然简单直接，但在处理某些特殊形状的损失函数时存在明显不足。本文将深入探讨动量法（Momentum）这一经典优化技术，分析其原理、实现方式以及在TensorFlow2.0中的应用。

梯度下降的局限性

让我们从一个具体的例子出发，考虑二维目标函数f(x)=0.1x₁²+2x₂²。这个函数在x₁和x₂方向上的曲率差异很大：

• x₁方向：曲率较小（系数0.1）
• x₂方向：曲率较大（系数2）

使用标准梯度下降法时，我们会遇到两个典型问题：

1. 学习率困境：如果选择较大的学习率（如0.6），在曲率大的x₂方向上会导致参数剧烈震荡甚至发散；如果选择较小的学习率（如0.4），虽然在x₂方向上稳定了，但在x₁方向上的收敛速度会变得非常缓慢。

2. 方向不一致：在复杂优化问题中，不同维度的梯度方向可能不一致，导致优化路径呈现"之字形"前进，大大降低了收敛效率。

动量法的核心思想

动量法的提出灵感来源于物理学中的动量概念。想象一个小球从山顶滚下，它不仅会受到当前坡度的加速影响，还会保持之前运动的方向和速度。这种"惯性"效应使得小球能够：

1. 在梯度方向一致的维度上加速前进
2. 在梯度方向变化的维度上抑制震荡

数学上，动量法通过引入速度变量v来累积历史梯度信息：

vₜ = γvₜ₋₁ + ηgₜ
xₜ = xₜ₋₁ - vₜ

其中γ∈[0,1)是动量系数，控制历史信息的衰减速度。

指数加权移动平均的视角

动量法的本质是对历史梯度进行指数加权移动平均（Exponentially Weighted Moving Average）。这种平均方式给予近期数据更高的权重，而远期数据的权重呈指数衰减。

具体来说，当γ=0.9时，速度变量vₜ大致包含了最近10个时间步的梯度信息（因为0.9^10≈0.35已经较小）；当γ=0.99时，则包含约100个时间步的信息。

这种加权方式带来了两个好处：

1. 平滑作用：随机噪声被平均掉，使得优化方向更加稳定
2. 记忆效应：在梯度方向一致的维度上形成加速，不一致的维度上相互抵消

TensorFlow2.0中的实现

从零实现

我们可以手动实现动量法来加深理解：

def init_momentum_states():
    v_w = tf.zeros((features.shape[1],1))  # 权重速度变量
    v_b = tf.zeros(1)  # 偏置速度变量
    return (v_w, v_b)

def sgd_momentum(params, states, hyperparams, grads):
    i = 0
    for p, v in zip(params, states):
        v = hyperparams['momentum'] * v + hyperparams['lr'] * grads[i]
        p.assign_sub(v)
        i += 1

关键点：

1. 为每个参数维护一个速度变量
2. 更新时同时考虑当前梯度和历史速度
3. 典型的动量系数γ设为0.5或0.9

内置实现

TensorFlow2.0的Keras API已经内置了动量法，使用非常简便：

from tensorflow.keras import optimizers
trainer = optimizers.SGD(learning_rate=0.004, momentum=0.9)

参数选择经验

1. 学习率η：通常比标准SGD小，特别是当γ接近1时

   • γ=0.5时，η可保持与SGD相近
   • γ=0.9时，η可能需要减小到1/5~1/10

2. 动量系数γ：

   • 常用0.5、0.9、0.95等值
   • γ越大，记忆的历史信息越多，但可能过度平滑

3. 组合策略：可以先使用较大γ(0.9)和较小η，后期适当降低γ

实际效果对比

通过实验可以明显观察到：

1. 使用动量法后，优化路径更加平滑，特别是在曲率大的方向
2. 在曲率小的方向上能够保持较快的收敛速度
3. 允许使用更大的有效学习率，加速训练过程

总结

动量法是深度学习优化中最基础也最重要的技术之一，它通过引入"惯性"解决了梯度下降法在病态曲率问题上的缺陷。理解动量法的关键在于：

1. 指数加权移动平均的数学本质
2. 速度变量对历史梯度的累积效应
3. 不同参数设置对优化过程的影响

在实际应用中，动量法很少单独使用，而是作为更复杂优化器（如Adam、Nesterov等）的基础组件。掌握动量法的工作原理，有助于我们更好地理解和调优各种现代优化算法。

Dive-into-DL-TensorFlow2.0 项目地址: https://gitcode.com/gh_mirrors/di/Dive-into-DL-TensorFlow2.0