10、现代神经网络优化与正则化方法详解

现代神经网络优化与正则化方法详解

在神经网络的训练过程中，优化和正则化是两个关键的环节，它们直接影响着模型的性能和泛化能力。本文将深入探讨一些常见的优化算法和正则化方法，以及如何在 TensorFlow 中使用它们。

随机梯度下降（SGD）与局部极小值

随机梯度下降（SGD）由于训练样本的随机采样，使得不同小批量的梯度往往不同，这使得它能够跳出浅的局部极小值。然而，梯度下降过程并不能保证收敛到全局最小值，因为这需要扫描整个损失域，对于视觉任务和大量参数的情况，这是不现实的。因此，数据科学家通常满足于找到一个令人满意的局部最小值。

在传统的梯度下降中，所有网络参数都使用相同的学习率进行更新。但实际上，不同参数对变化的敏感度不同，对损失的影响也不同。因此，为不同的参数子集设置不同的学习率可能是有益的，这样可以更谨慎地更新关键参数，更大胆地更新对网络预测贡献不足的参数。

高级优化器

基于上述想法，研究人员开发了一些基于 SGD 的新优化算法，下面介绍几种常见的优化器。

动量算法（Momentum algorithms）

动量算法由 Boris Polyak 于 1964 年提出，它基于 SGD 并受到物理学中动量概念的启发。在梯度下降中，它会考虑之前的参数更新 $v_{i - 1}$，并将其添加到新的更新项 $v_i$ 中。其中，$\mu$ 是动量权重（取值在 0 到 1 之间），它定义了应用之前更新的比例。如果当前步骤和之前步骤方向相同，它们的大小会相加，加速 SGD 在该方向上的收敛；如果方向不同，动量会抑制振荡。

在 TensorFlow 中，可以通过以下方式定义动量优化器