RNN 反向传播公式推导（非矩阵式）

RNN 反向传播公式推导（非矩阵式）

因为模式识别非要用Latex来编辑公式，所以逼着我写一次博客。嗯，说不定这是一个很好的开始。因为笔者的水平有限，所以如果有不慎有疏漏，烦请不吝赐教。

参考的博客是：
循环神经网络(RNN)模型与前向反向传播算法 - 刘建平Pinard - 博客园
Markdown中数学公式整理 - Zhakel日常 - 优快云博客

关于RNN的基础知识和反向传播的定义就不再赘述，这不是本篇博客所要讲的重点。如果你感觉自己对RNN有一定了解而且至少已经知道三层神经网络反向传播怎么推导了之后，再来看这个比较合适。

RNN模型的可视化

（好像图有点丑）

参数解释：

• 前一个RNN块的隐藏层: $h^{(t-1)}$，维度为H（在图中表示为H个节点）选取$h_p^{(t-1)}$作为研究节点。
• 输入向量（输入层）：$x^{(t)}$,维度为L，选取$x_i^{(t)}$为研究节点。
• 隐藏层：$h^{(t)}$，维度为H，选取$h_j^{(t)}$为研究节点。
• 未激活的隐藏层：$z^{(t)}$，维度为H，选取$z_j^{(t)}$为研究节点。这里主要是为了后面的推导方便，在图中没有标出。
• 输出向量（输出层）：$O^{(t)}$，维度为C，选取$O_k^{(t)}$为研究节点。
• 从$h^{(t-1)}$到$h^{(t)}$的矩阵记为 $W$, 选取 $W_{jp}$ 为研究权重,表示从$h_p^{(t-1)}$指向$h_j^{(t)}$的连接权重。
• 从$x^{(t)}$到$h^{(t)}$的矩阵记为 $U$, 选取 $U_{ip}$ 为研究权重，表示从$x_i^{(t)}$指向$h_j^{(t)}$的连接权重。
• 从$h^{(t)}$到$O^{(t)}$的矩阵记为 $V$, 选取$V_{kj}$ 为研究权重，表示从$h_j^{(t)}$指向$O_k^{(t)}$的连接权重。
• b为到隐藏层的偏置（bias），$b_j$表示bias到$h_j^{(t)}$的权重.
• c为到输出层的偏置，$c_k$表示bias到$O_k^{(t)}$的权重.
• ${\hat{y}}^{(t)}$ 为预测向量，$y^{(t)}$为目标向量（正确值），$E(\omega )$表示误差函数(参数太多简写为$\omega$).
• t表示是第几个RNN块，或者是是序列的第几步。总的步长（steps）为$\tau$.

需要注意的是，这里的$W$、$U$ 、$V$、$b$、$c$ 的权重在所有RNN块中都是共享的，所以反向传播的时候需要利用整体的误差来更新。

RNN的前向传播

1、首先将$h^{(t-1)}$层和$x^{(t)}$层映射到$z^{(t)}$中,$z^{(t)}$的第j个节点$z_j^{(t)}$的映射关系如下:
$$z_j^{(t)}=\sum _{i=1}^L{U}_{ji}{x}_i^{(t)}+\sum _{p=1}^H{W}_{jp}{x}_p^{(t-1)}+b_j\ast 1$$

• 如图中的第一层的三个黑色箭头所示，其中黑色的箭头指求和中的项，所有的灰色箭头共同组成求和；每一个节点都如此连接与计算。

2、利用tanh激活函数激活$z^{(t)}$层所有节点为$h^{(t)}$层，即：
$$h_j^{(t)}=\sigma (z_j^{(t)})=tanh(z_j^{(t)})\forall j\in (1,H)$$

3、类似于MLP，将$h^{(t)}$层映射到$O^{(t)}$层
$$O_k^{(t)}=\sum _{j=1}^H{V}_{kj}{h}_j^{(t)}+c_k\ast 1$$

• 这里的公式与MLP中的相同，不再赘述，类似于图中第二层的黑色箭头和灰色箭头。

4、利用$O^{(t)}$得出预测值并写出误差函数：
$${\hat{y}}_k^{(t)}=\sigma (O_k^{(t)})=softmax(O_k^{(t)})\forall k\in (1,C)$$

• 利用softmax函数得出预测结果，输出向量的维度为C
  $$E(\omega )=-\sum _{k=1}^C{y}_k^{(t)}ln({\hat{y}}_k^{(t)})$$
• 至此，完成前向传播的推导以及误差函数.

RNN的反向传播

1、反向传播至$O^{(t)}$层

• 因为这里的误差函数使用交叉熵、而输出层的激活函数使用的是softmax。所以，误差函数对$O_k^{(t)}$的偏导为：
  $$\frac{\partial E(\omega )}{\partial O_k^{(t)}}={\hat{y}}_k^{(t)}\sum _{k=1}^C{y}_k^{(t)}-y_k^{(t)}$$
• 这个结论来自于另一篇博客，详情见：简单易懂的softmax交叉熵损失函数求导 - Allenlzcoder的博客 - 优快云博客
• 在上文提到的第一篇博客中推导的公式并不是这样的，这是因为他的假设中这是一个分类问题，所以目标向量的各分量之和应该为1，这里我们也做此假设，简化为：
  $$\frac{\partial E(\omega )}{\partial O_k^{(t)}}={\hat{y}}_k^{(t)}-y_k^{(t)}$$

2、求出 $c$ , $V$ 的各项的梯度：
由上面的前向传播公式：
$$O_k^{(t)}=\sum _{j=1}^H{V}_{kj}{h}_j^{(t)}+c_k\ast 1$$
可得：
$$\frac{\partial E(\omega )}{\partial V_{kj}}=\frac{\partial E(\omega )}{\partial O_k^{(t)}}\frac{\partial O_k^{(t)}}{\partial V_{kj}}=({\hat{y}}_k^{(t)}-y_k^{(t)})h_j^{(t)}$$

$$\frac{\partial E(\omega )}{\partial c_k}=\frac{\partial E(\omega )}{\partial O_k^{(t)}}\frac{\partial O_k^{(t)}}{\partial c_k}=({\hat{y}}_k^{(t)}-y_k^{(t)})\ast 1$$
但是这样是不完整的，上面说过，$c$ , $V$是所有块所共用的权重矩阵，所以需要用所有的$O^{(t)}$进行反向推导。所以，正确的应该为：

$$\frac{\partial E(\omega )}{\partial V_{kj}}=\sum _{t=1}^{\tau }\frac{\partial E(\omega )}{\partial O_k^{(t)}}\frac{\partial O_k^{(t)}}{\partial V_{kj}}=\sum _{t=1}^{\tau }({\hat{y}}_k^{(t)}-y_k^{(t)})h_j^{(t)}$$

$$\frac{\partial E(\omega )}{\partial c_k}=\sum _{t=1}^{\tau }\frac{\partial E(\omega )}{\partial O_k^{(t)}}\frac{\partial O_k^{(t)}}{\partial c_k}=\sum _{t=1}^{\tau }({\hat{y}}_k^{(t)}-y_k^{(t)})\ast 1$$

3、反向传播得出每一层的误差$\delta$
首先定义未激活时的隐藏层的误差${\delta }_j^{(t)}$

$${\delta }_j^{(t)}:=\frac{\partial E(\omega )}{\partial z_j^{(t)}}$$

需要注意的是这里的误差来源有两部分:

• 在第t块作为隐藏层$h^{(t)}$从$O^{(t)}$处传播来的误差
• 在第t+1块作为 前一个RNN块的隐藏层 $h^{(t)}$从$h^{(t+1)}$处传来的误差

所以我们需要先研究第$\tau$块，因为最后一块没有来自后一层的误差。在第$\tau$块有：
$${\delta }_j^{(\tau )}=\frac{\partial E(\omega )}{\partial z_j^{(\tau )}}=\sum _{k=1}^C\frac{\partial E(\omega )}{\partial O_k^{(\tau )}}\frac{\partial O_k^{(\tau )}}{\partial h_j^{(\tau )}}\frac{\partial h_j^{(\tau )}}{\partial z_j^{(\tau )}}=\sum _{k=1}^C({\hat{y}}_k^{(\tau )}-y_k^{(\tau )})V_{kj}$$

现在研究第t块的误差：

$${\delta }_j^{(t)}=\frac{\partial E(\omega )}{\partial z_j^{(t)}}=\sum _{k=1}^C\frac{\partial E(\omega )}{\partial O_k^{(t)}}\frac{\partial O_k^{(t)}}{\partial h_j^{(t)}}\frac{\partial h_j^{(t)}}{\partial z_j^{(t)}}+\sum _{j=1}^H\frac{\partial E(\omega )}{\partial z_k^{(t+1)}}\frac{\partial z_k^{(t+1)}}{\partial h_j^{(t)}}\frac{\partial h_j^{(t)}}{\partial z_j^{(t)}}=\sum _{k=1}^C({\hat{y}}_k^{(\tau )}-y_k^{(\tau )})V_{kj}+\sum _{j=1}^H{\delta }_j^{(t+1)}{W}_{jp}{\sigma }^{,}()$$

其中${\sigma }^{,}()$表示激活函数tanh的导数

4、求出 $b$ , $U$, $W$ 的各项的梯度
-${\delta }_j^{(t)}$求出来后，剩余各项的梯度就比较容易求了，记得需要利用所有块求取梯度

• 前向传播公式为：
  $$z_j^{(t)}=\sum _{i=1}^L{U}_{ji}{x}_i^{(t)}+\sum _{p=1}^H{W}_{jp}{x}_p^{(t-1)}+b_j\ast 1$$

• 相应的反向传播为：
  $$\frac{\partial E(\omega )}{\partial W_{jp}}=\sum _{t=1}^{\tau }\frac{\partial E(\omega )}{\partial z_j^{(t)}}\frac{\partial z_j^{(t)}}{\partial W_{jp}}=\sum _{t=1}^{\tau }{\delta }_j^{(t)}{h}_p^{(t-1)}$$

  $$\frac{\partial E(\omega )}{\partial U_{ji}}=\sum _{t=1}^{\tau }\frac{\partial E(\omega )}{\partial z_j^{(t)}}\frac{\partial z_j^{(t)}}{\partial U_{ji}}=\sum _{t=1}^{\tau }{\delta }_j^{(t)}{x}_i^{(t)}$$

$$\frac{\partial E(\omega )}{\partial b_j}=\sum _{t=1}^{\tau }\frac{\partial E(\omega )}{\partial z_j^{(t)}}\frac{\partial z_j^{(t)}}{\partial b_j}=\sum _{t=1}^{\tau }{\delta }_j^{(t)}\ast 1$$

至此，RNN的反向传播公式推导完毕。