深度学习之循环神经网络（3）梯度传播

 通过循环神经网络的更新表达式可以看出输出对张量${\mathbf{W}}_{xh}$、${\mathbf{W}}_{hh}$和偏置$\mathbf{b}$均是可导的，可以利用自动梯度算法来求解网络的梯度。此处我们仅简单地推导一下RNN的梯度传播公式，并观察其特点。

 考虑梯度$\frac{\partial \mathcal{L}}{\partial {\mathbf{W}}_{hh}}$，其中$\mathcal{L}$为网络的误差，只考虑最后一个时刻$t$的输出${\mathbf{o}}_t$与真实值之间的差距。由于${\mathbf{W}}_{hh}$被每个时间戳i上权值共享，在计算$\frac{\partial \mathcal{L}}{\partial {\mathbf{W}}_{hh}}$时需要将每个中间时间戳$i$上面的梯度求和，利用链式法则展开为
$$\frac{\partial \mathcal{L}}{\partial {\mathbf{W}}_{hh}}=\sum _{i=1}^t\frac{\partial \mathcal{L}}{\partial {\mathbf{o}}_t}\frac{\partial {\mathbf{o}}_t}{\partial {\mathbf{h}}_t}\frac{\partial {\mathbf{h}}_t}{\partial {\mathbf{h}}_i}\frac{{\partial }^{+}{\mathbf{h}}_i}{\partial {\mathbf{W}}_{hh}}$$
其中$\frac{\partial \mathcal{L}}{\partial {\mathbf{o}}_t}$可以基于损失函数直接求得，$\frac{\partial {\mathbf{o}}_t}{\partial {\mathbf{h}}_t}$ 在${\mathbf{o}}_t={\mathbf{h}}_t$的情况下:
$$\frac{\partial {\mathbf{o}}_t}{\partial {\mathbf{h}}_t}=1$$
而$\frac{{\partial }^{+}{\mathbf{h}}_i}{\partial {\mathbf{W}}_{hh}}$的梯度将${\mathbf{h}}_i$展开后也可以求得:
$$\frac{{\partial }^{+}{\mathbf{h}}_i}{\partial {\mathbf{W}}_{hh}}=\frac{\partial \sigma ({\mathbf{W}}_{xh}{\mathbf{x}}_t+{\mathbf{W}}_{hh}{\mathbf{h}}_{t-1}+\mathbf{b})}{\partial {\mathbf{W}}_{hh}}$$
其中$\frac{{\partial }^{+}{\mathbf{h}}_i}{\partial {\mathbf{W}}_{hh}}$只考虑到一个时间戳的梯度传播，即“直接”偏导数，与$\frac{\partial \mathcal{L}}{\partial {\mathbf{W}}_{hh}}$考虑$i=1,\dots ,t$所有的时间戳的偏导数不同。

 因此，只需要推导出$\frac{\partial {\mathbf{h}}_t}{\partial {\mathbf{h}}_i}$的表达式即可完成循环神经网络的梯度推导。利用链式法则，我们把$\frac{\partial {\mathbf{h}}_t}{\partial {\mathbf{h}}_i}$分拆分连续时间戳的梯度表达式:
$$\frac{\partial {\mathbf{h}}_t}{\partial {\mathbf{h}}_i}=\frac{\partial {\mathbf{h}}_t}{\partial {\mathbf{h}}_{t-1}}\frac{\partial {\mathbf{h}}_{t-1}}{\partial 2}\dots \frac{\partial {\mathbf{h}}_{i+1}}{\partial {\mathbf{h}}_i}=\prod _{k=i}^{t-1}\frac{\partial {\mathbf{h}}_{k+1}}{\partial {\mathbf{h}}_k}$$
考虑
$${\mathbf{h}}_{k+1}=\partial \sigma ({\mathbf{W}}_{xh}{\mathbf{x}}_{k+1}+{\mathbf{W}}_{hh}{\mathbf{h}}_k+\mathbf{b})$$
那么
$$\begin{array}{rl}\frac{\partial {\mathbf{h}}_{k+1}}{\partial {\mathbf{h}}_k}& ={\mathbf{W}}_{hh}^{T}diag({\sigma }^{\prime }({\mathbf{W}}_{xh}{\mathbf{x}}_{k+1}+{\mathbf{W}}_{hh}{\mathbf{h}}_k+\mathbf{b}))\\ & ={\mathbf{W}}_{hh}^{T}diag({\sigma }^{\prime }({\mathbf{h}}_{k+1}))\end{array}$$
其中$diag(\mathbf{x})$把向量$\mathbf{x}$的每个元素作为矩阵的对角元素，得到其它元素全为0的对角矩阵，例如:
$$diag([3,2,1])=\left[\begin{array}{ccc}3& 0& 0\\ 0& 2& 0\\ 0& 0& 1\end{array}\right]$$
因此
$$\frac{\partial {\mathbf{h}}_t}{\partial {\mathbf{h}}_i}=\prod _{j=i}^{t-1}diag({\sigma }^{\prime }({\mathbf{W}}_{xh}{\mathbf{x}}_{k+1}+{\mathbf{W}}_{hh}{\mathbf{h}}_k+\mathbf{b})){\mathbf{W}}_{hh}$$
至此，$\frac{\partial \mathcal{L}}{\partial {\mathbf{W}}_{hh}}$的梯度推导完成。

 由于深度学习框架可以帮助我们自动推导梯度，只需要简单地了解循环神经网络的梯度传播方式即可。我们在推导$\frac{\partial \mathcal{L}}{\partial {\mathbf{W}}_{hh}}$的过程中发现，$\frac{\partial {\mathbf{h}}_t}{\partial {\mathbf{h}}_i}$的梯度包含了${\mathbf{W}}_{hh}$的连乘运算，我们会在后面介绍，这是导致循环神经网络训练困难的根本原因。