RNN前向传播、反向传播与并行计算(非常详细)

1. RNN前向传播

在介绍RNN之前，首先比较一下RNN与CNN的区别：

• RNN是一类用于处理序列数据的神经网络，CNN是一类用于处理网格化数据(如一幅图像)的神经网络。
• RNN可以扩展到更长的序列，大多数RNN也能处理可变长度的序列。CNN可以很容易地扩展到具有很大宽度和高度的图像，并且可以处理可变大小的图像。

RNN的前向传播如图所示，其中$f(x)$代表激活函数，输出的label可以使用one-hot形式。图中所有的$U、W、V、b_1、b_2$全部相同，类似于CNN中的权值共享。CNN通过权值共享可以处理任意大小的图片，RNN通过权值共享，可以处理任意序列长度的语音、句子。

损失函数：
$$J=\sum _{i=1}^t||o_i-{\hat{o}}_i|{|}^2=J_1+J_2+...+J_t（J_i为MSE损失或CE损失）$$

2.RNN反向传播

在介绍RNN反向传播之前，先回顾一下基本神经元的反向传播算法：

$$\begin{array}{l}\{\begin{array}{cc}h=& WX+b\\ S=& f(h)\end{array}\end{array}$$
假设已知损失对$S$的梯度$\frac{\partial J}{\partial S}$:
$$\begin{array}{l}\{\begin{array}{c}\frac{\partial J}{\partial h}=\frac{\partial J}{\partial S}\frac{dS}{dh}\\ \\ \frac{\partial J}{\partial X}=\frac{\partial J}{\partial h}{W}^T\\ \\ \frac{\partial J}{\partial W}=X^T\frac{\partial J}{\partial h}\\ \\ \frac{\partial J}{\partial b}=SumCol(\frac{\partial J}{\partial h})\end{array}\end{array}$$
具体推导过程请参考：https://zhuanlan.zhihu.com/p/79657669

下面介绍RNN的反向传播，如图所示：


因为共享权重，所以整个RNN网络对$V、W、U$的梯度为:
$$\frac{\partial J}{\partial V}=\sum _{i=1}^t{s}_i^T\frac{\partial J}{\partial o_i};\frac{\partial J}{\partial W}=\sum _{i=1}^{t-1}{s}_i^T\frac{\partial J}{\partial h_{i+1}};\frac{\partial J}{\partial U}=\sum _{i=1}^t{x}_i^T\frac{\partial J}{\partial h_i}$$

3. RNN并行加速计算

3.1 前向并行运算

因为RNN为延时网络，网络的每个输入都与前一个时刻的输出有关系，因此，当输入只有一句话时，无法并行计算。当有输入为一个batch时，如何并行计算呢？

也就是说，可以将一个batch的样本在某一个时刻的输入输出并行，加速计算，而不是将一个样本的整个过程并行（因为依赖性无法并行）。

3.2 反向并行计算

反向并行运算方式如下图所示：

4. 双向RNN

注：图中的$W与\hat{W}$、$U与\hat{U}$、$V与\hat{V}$不同。

5. DeepRNN

参考资料：深度之眼