22、深度神经网络训练中的优化策略与方法

深度神经网络训练中的优化策略与方法

在深度神经网络的训练过程中，为了提高训练效率和模型性能，需要采用一系列优化策略和方法。本文将详细介绍几种常见的优化方法，包括二阶方法、Polyak 平均、处理局部和虚假最小值的方法，以及批量归一化等。

1. 二阶方法相关技术

1.1 计算特定方向的 Hessian 投影

在某些情况下，我们需要计算特定方向上的 Hessian 投影。可以使用有限差分法间接计算，而无需显式计算 Hessian 的各个元素。设 $v$ 是需要计算投影 $Hv$ 的向量方向，通过计算当前参数向量 $W$ 和 $W + \delta v$ 处的损失梯度来进行近似：
[Hv \approx \frac{\nabla L(W + \delta v) - \nabla L(W)}{\delta} \propto \nabla L(W + \delta v) - \nabla L(W)]
该条件对于二次函数是精确的。

1.2 线性和非线性共轭梯度法

对于二次损失函数，二阶导数矩阵（Hessian）是常数矩阵，但神经网络的损失函数通常不是二次的，Hessian 矩阵依赖于当前参数向量 $W_t$。这就引出了两种方法：
- 线性共轭梯度法 ：先在某点创建二次近似，然后在该点固定 Hessian 进行几次迭代求解。
- 非线性共轭梯度法 ：每次迭代都更新 Hessian。

对于二次损失函数，这两种方法等价，但在神经网络中，二次损失函数几乎不会出现。经典工作主要探索非线性共轭梯度法，而近期工作则提倡使用线