14、循环神经网络：从理论到实践

循环神经网络：从理论到实践

梯度消失问题的挑战

使用有状态网络模型的动机在于捕捉输入序列中的长期依赖关系。理论上，具有大内存库（即显著大小的循环层）的循环神经网络（RNN）能够总结这些依赖关系。实际上，RNN是一种通用的函数表示，在有足够神经元和合适参数设置的情况下，它可以表示输入和输出序列之间的任何函数映射。

然而，理论并不一定能转化为实践。我们更关心的是，通过应用梯度下降算法，从零开始训练RNN学习现实的函数映射是否可行。为了探究这个问题，我们从最简单的RNN开始，它有一个输入神经元、一个输出神经元和一个全连接的单神经元循环层。

给定非线性函数$f$，循环层隐藏神经元在时间步$t$的激活$h_t$可以表示为：
$h_t = f(w_{in}^t i_t + w_{rec}^{t - 1} h_{t - 1})$

我们计算隐藏神经元的激活相对于$k$个时间步之前的输入对数的变化，通过取偏导数并应用链式法则：
$\frac{\partial h_t}{\partial i_{t - k}} = f’(w_{in}^t i_t + w_{rec}^{t - 1} h_{t - 1})\frac{\partial}{\partial i_{t - k}}(w_{in}^t i_t + w_{rec}^{t - 1} h_{t - 1})$

由于输入和循环权重的值与时间步$t - k$的输入对数无关，我们可以进一步简化这个表达式：
$\frac{\partial h_t}{\partial i_{t - k}} = f’(w_{in}^t i_t + w_{rec}^{t - 1} h_{t - 1}) w_{rec