16、循环神经网络与语言模型

循环神经网络与语言模型

1. 梯度消失和梯度爆炸问题

循环神经网络（RNN）的训练难度往往高于前馈网络或卷积网络，这主要源于其循环特性，即使用相同的权重矩阵来计算所有的状态更新。

梯度消失和梯度爆炸问题是RNN训练中的两大难题。在简单线性RNN中，梯度的变化与权重参数 ( W ) 相关：
- 当 ( |W| > 1 ) 时，梯度会呈指数级增长，这就是梯度爆炸问题。例如，当 ( W = 1.5 ) ，经过50个时间步后， ( W^{50} = 1.5^{50} \approx 6 \times 10^{8} ) 。
- 当 ( |W| < 1 ) 时，梯度会呈指数级衰减，这就是梯度消失问题。例如，当 ( W = 0.6 ) ，经过20个时间步后， ( W^{20} = 0.6^{20} \approx 3 \times 10^{-5} ) 。

若权重参数 ( W ) 是矩阵而非标量，梯度的爆炸或消失与 ( W ) 的最大特征值 ( \rho ) （也称为谱半径）有关。当 ( \rho < 1 ) 时，梯度会消失；当 ( \rho > 1 ) 时，梯度会爆炸。

梯度爆炸会使训练的代价曲面变得极不稳定。在训练过程中，我们可能会从低梯度的稳定区域突然跳到高梯度区域，导致参数更新幅度过大，使梯度下降学习变得不稳定，甚至无法进行。

为解决梯度爆炸问题，可采取以下方法：
- 梯度裁剪 ：对梯度的最大值进行阈值限制。
- 二阶优化（牛顿法） ：对代价函数的曲率进行建模，在低曲率场景下采取大步长更新，在高曲率场景下采取小