4、神经网络中的学习率、优化方法与海森矩阵分析

神经网络中的学习率、优化方法与海森矩阵分析

1. 学习率的选择与收敛性

在神经网络训练中，学习率的选择至关重要。对于矩阵 (I - \eta\Lambda)（其中 (\Lambda) 是对角矩阵，对角元素为 (\lambda_i)），若方程收敛，则需满足 (|1 - \eta\lambda_i| < 1)，即对于所有的 (i)，(\eta < \frac{2}{\lambda_i})。当所有权重使用单一标量学习率时，为避免发散，必须满足 (\eta < \frac{2}{\lambda_{max}})，其中 (\lambda_{max}) 是海森矩阵 (H) 的最大特征值。而最快收敛的学习率为 (\eta_{opt} = \frac{1}{\lambda_{max}})。

若最小特征值 (\lambda_{min}) 远小于最大特征值 (\lambda_{max})，则在 (\lambda_{min}) 方向上的收敛会非常缓慢。实际上，收敛时间与条件数 (\kappa \equiv \frac{\lambda_{max}}{\lambda_{min}}) 成正比，因此应尽量使特征值分布范围小。

由于将 (H) 旋转至与坐标轴对齐后，方程可视为 (N) 个独立的一维方程，所以可以为每个权重独立选择学习率，第 (i) 个权重的最优学习率为 (\eta_{opt,i} = \frac{1}{\lambda_i})。

2. 示例分析

2.1 线性网络

有一组 100 个样本，来自以 ((-0.4, -0.8)) 和 ((0.4, 0.8)) 为中心的两个高斯分布类，协方差矩阵的特征值为 0.84 和 0