深度学习——循环神经网络RNN（一）_反向传播算法

RNN网络结构

Elman神经网络是最早的循环神经网络，由Elman于1990年提出，又称为SRN（Simple Recurrent Network, 简单循环网络）。RNN考虑了时序信息，当前时刻的输出不仅和当前时刻的输入有关，还和前面所有时刻的输入有关。

RNN的结构图（引用[2]中的图）如下：

• $x_t$表示t时刻的输入向量；

• $h_t$表示t时刻的隐藏层向量：
  隐层计算公式为
  

  $$\boldsymbol h_t = f(W^{hh}\boldsymbol h_{t-1}+W^{xh}\boldsymbol x_t+\boldsymbol b^h) \tag 1$$
  f是隐层的激活函数。$h_0$一般初始化为0。
  我们可以认为$\boldsymbol h_t$包含了当前时刻及以前的所有记忆。虽然理论上这句话没问题，但是在实际中，由于梯度消失/爆炸问题的存在，$\boldsymbol h_t$只包含了有限步的信息，并不能捕获太久之前的信息。这被称为长时依赖问题。

• $y_t$表示t时刻的输出向量：
  输出$y_t$的计算公式为
  

  $$\boldsymbol y_t = g(\boldsymbol W^{hy}\boldsymbol h_{t}+\boldsymbol b^y ) \tag 2$$
  g一般为softmax函数。

在训练RNN时，一个输入序列看做一个实例，其误差由各时刻误差之和组成：

$$J=\sum_{t=1}^TJ_{t} \tag 3$$

梯度计算

RNN的梯度计算比多层前馈神经网络要复杂一些，其反向传播算法有个特有的名字：随时间反向传播算法（Backpropagation Through Time，BPTT）[Werbos, 1990]。

这里会介绍两种计算RNN梯度的方法，并且仅以$W^{hh}$的梯度为例进行说明。

暴力求解

我们暂且把t步的$W^{hh}$写成$W^{hh}_t$，于是：

∂J∂Whh=∑t=1T∂J∂Whht=∑t=1T