10、现代神经网络优化与正则化技术解析

现代神经网络优化与正则化技术解析

随机梯度下降（SGD）与局部极小值

随机梯度下降（SGD）由于训练样本的随机采样，使得不同小批量的梯度往往不同，这使得它能够跳出浅的局部极小值。不过，梯度下降过程并不能保证收敛到全局最小值，因为这需要扫描整个损失域，对于视觉任务的复杂性和大量参数而言，这几乎是不可能的。所以，数据科学家通常满足于找到一个令人满意的局部极小值。

在传统的梯度下降中，使用相同的学习率来更新网络的所有参数。但并非所有变量对变化的敏感度相同，也并非在每次迭代中都对损失有相同的影响。因此，为不同的参数子集设置不同的学习率可能是有益的，这样可以更谨慎地更新关键参数，更大胆地更新对网络预测贡献不足的参数。

高级优化器

研究人员基于SGD开发了一些新的优化算法，下面介绍几种常见的优化器。

动量算法（Momentum algorithms）

动量算法由Boris Polyak在1964年提出，它基于SGD并受到物理学中动量概念的启发。在梯度下降中，该算法会考虑之前的参数更新项 $v_{i - 1}$，并将其添加到新的更新项 $v_i$ 中。其中，$\mu$ 是动量权重（值在0到1之间），它定义了应用之前更新项的比例。如果当前步骤和之前步骤方向相同，它们的大小会相加，从而加速SGD在该方向上的收敛；如果方向不同，动量会抑制这些振荡。

在 tf.optimizers （也可通过 tf.keras.optimizers 访问）中，动量被定义为SGD的一个可选参数，示例代码如下：