深度学习中基本神经网络(二)

1. 循环神经网络的引入与简介

在前馈神经网络中，信息的传递是单向传递过程，这种学习方法使得网络很容易学习，但是也一定程度上限制了神经网络模型的学习能力。但是在很多任务中，存在一些网络的输入不仅和当前的输入有关系，也和网络的历史输入信息有关系，例如有限状态的自动机。时序数据的长度序列长度不是固定的，不可任意改变。循环神经网络在一定程度上解决了这一类问题，它是一种具有短期记忆能力的神经网络，广泛使用到语音识别、语言模型以及其他自然语言处理等等任务上。循环神经网络中的参数学习过程使用到随时间反向传播算法来进行学习。但是普通的神经网络学习过程中的长期依赖关系，会出现梯度爆炸和消失问题，对这个问题提出了LSTM，GRU以及能够使得循环神经网络加速的SRU神经网络。另外，循环神经网络很容易推广到广义上的记忆型神经网络：递归神经网络和图神经网络，当然也包含树形神经网络。

1.1 延时神经网络

延时神经网络中通过建立一个额外的延时单元来存储网络的历史信息(例如输入、输出、隐藏层状态信息等等)。延时神经网络中在$t$时刻，第$l+1$层神经网络和第$l$层神经元的最近$p$次输出相关，即
$$h_t^{(l+1)}=f(h_t^{(l)},h_{t-1}^{(l)},...,h_{t-p}^{(l)})$$

这样对网络中输入和输出进行延时和神经元存储处理，神经网络就有了短期的记忆能力。

一般情况下函数$f(.)$是一种自回归模型，用变量$y_t$的历史信息来预测自己的输出信息：
$$y_t=w_0+\sum _{t=1}^p{w}_i{y}_{t-i}+b_t$$

这是一种不包含输入信息的一种递归神经网络，下面是一种有外部输入的非线性自回归模型：
$$y_t=f(x_t,x_{t-1},...,x_{t-p},y_{t-1},y_{t-2},...,y_{t-p})$$

1.2 同步学习模式和异步学习模式

同步的序列到序列模式主要使用序列标注任务，每一时刻都有输入和输出，输入的序列和输出序列的长度相同。例如对单词尽心词性标注的任务就必须对每一个单词进行标注处理。设输入为 x 1 : T = { x 1 , . . . , x T } x_{1:T}=\{x_{1},...,x_{T}\} x1:T​={ x1​,...,xT​}，输出为 y ^ 1 : T { y ^ 1 , . . . , y ^ T } \hat y_{1:T}\{\hat y_{1},...,\hat y_{T}\} y^​1:T​{ y^​1​,...,y^​T​}，通常模型表达为
$$h_t=f(h_{t-1},x_t)$$

$${\hat{y}}_t=g(h_t)$$

异步的序列到序列模式也称作编码器-解码器模型，输入序列和输出序列不需要有严格的对应关系，也没必要保持有相同的长度信息。例如机器翻译中自然语言处理任务。设输入的序列为 x 1 : T = { x 1 , . . . , x T } x_{1:T}=\{x_{1},...,x_{T}\} x1:T​={ x1​,...,xT​}，输出序列为 y ^ 1 : M = { y ^ 1 , . . . , y ^ M } \hat y_{1:M}=\{\hat y_{1},...,\hat y_{M}\} y^​1:M​={ y^​1​,...,y^​M​}，那么通常模型表达为
$$h_t=f_1(h_{t-1},x_t),\forall t\in [1,T]$$

$$h_{T+t}=f_2(h_{T+t-1}),\forall t\in [1,M]$$

$${\hat{y}}_t=g(h_{T+t}),\forall t\in [1,M]$$

2. 梯度训练BPTT算法与RTRL算法

在循环神经网络中，梯度更新的方法主要有随时间反向传播算法和实时循环学习方法。给定一个训练样本$(x,y)$，其中$x_{1:T}=(x_1,...,x_T)$为长度是$T$的输入序列，$y_{1,T}=(y_1,...,y_T)$为长度为$T$的标签序列。我们定义时刻$t$的损失函数为
$$L_t=L(y_t,g(h_t))$$

其中$g(h_t)$为$t$时刻的输出，$L$为可微分的损失函数。那么整个序列的损失函数为
$$L=\sum _{t=1}^T{L}_t$$

所以说，整个序列的损失函数$L$关于参数$U$的梯度为
$$\frac{\partial L}{\partial U}=\sum _{t=1}^T\frac{\partial L_t}{\partial U}$$

所以通过这样可以进行梯度的传播。

2.1 BPTT算法

随时间反向传播算法中，主要计算上面偏导数$\frac{\partial L}{\partial U}$。

参数$U$和隐藏层在每个时刻$k(1\le k\le t)$的净输入$z_k=U{h}_{k-1}+W{x}_k+b$，所以说第$t$时刻的损失函数$L_t$关于参数$u_{ij}$的梯度为
$$\frac{\partial L_t}{\partial u_{ij}}=\sum _{k=1}^t\frac{\partial z_k}{\partial u_{ij}}\cdot \frac{\partial L_t}{\partial z_k}$$

注意，这里的$\frac{\partial z_k}{\partial u_{ij}}$指的是直接的偏导数，即对于公式$z_k=U{h}_{k-1}+W{x}_k+b$中，把$h_{k-1}$作为常量来对其求偏导数。所以有以下求法
$$\frac{\partial z_k}{\partial u_{ij}}=[0,...,[h_{k-1}{]}_j,..,0]={\mathbb{I}}_i([h_{k-1}{]}_j)$$

其中$[h_{k-1}{]}_j$为第$k-1$时刻的隐藏层状态的第$j$维，${\mathbb{I}}_i(x)$指的是除了第$i$行值为$x$外，其余为$0$的行向量。

定义误差项${\delta }_{t,k}=\frac{\partial L_t}{\partial z_k}$是第$t$时刻的损失对第$k$时刻隐藏层的净输入$z_k$的导数，则当$1\le k\le t$时
$$\begin{gathered} {\delta }_{t,k}=\frac{\partial L_t}{\partial z_k}=\frac{\partial h_k}{\partial z_k}\cdot \frac{\partial z_{k+1}}{\partial h_k}\cdot \frac{\partial L_t}{\partial z_{k+1}} \\ =\text{diag}(f^{{}^{\prime }}(z_k))U^T{\delta }_{t,k+1} \\ =f^{{}^{\prime }}(z_k)\odot (U^T{\delta }_{t,k+1}) \end{gathered}$$
所以我们得到
$$\frac{\partial z_k}{\partial u_{ij}}=\sum _{k=1}^t[{\delta }_{t,k}{]}_i[h_{k-1}{]}_j$$

写成矩阵的形式为

$$\frac{\partial L_t}{\partial U}=\sum _{k=1}^t{\delta }_{t,k}{h}_{k-1}^T$$

最后得到整个序列的梯度更新公式：
$$\frac{\partial L}{\partial U}=\sum _{t=1}^T\sum _{k=1}^t{\delta }_{t,k}{h}_{k-1}^T$$

同理得到
$$\frac{\partial L}{\partial W}=\sum _{t=1}^T\sum _{k=1}^t{\delta }_{t,k}{x}_k^T$$

$$\frac{\partial L}{\partial b}=\sum _{t=1}^T\sum _{k=1}^t{\delta }_{t,k}$$

2.2 RTRL算法

反向传播中的BPTT算法不同的是，实时循环学习是通过前向传播的方式来进行梯度计算。
设循环神经网络中第$t+1$时刻的状态$h_{t+1}$为
$$h_{t+1}=f(z_{t+1})=f(U{h}_t+W{x}_{t+1}+b)$$

则有以下的表达式
$$\begin{gathered} \frac{\partial h_{t+1}}{\partial u_{ij}}=(\frac{\partial z_{t+1}}{\partial u_{ij}}+\frac{\partial h_t}{\partial u_{ij}}{U}^T)\frac{\partial h_{t+1}}{\partial z_{t+1}} \\ =({\mathbb{I}}_i([h_t{]}_j)+\frac{\partial h_t}{\partial u_{ij}}{U}^T)\text{diag}(f^{{}^{\prime }}(z_{t+1})) \\ =({\mathbb{I}}_i([h_t{]}_j)+\frac{\partial h_t}{\partial u_{ij}}{U}^T)\odot (f^{{}^{\prime }}(z_{t+1}){)}^T \end{gathered}$$

其中${\mathbb{I}}_i(x)$是除了第$i$行值为$x$之外，其余都为$0$的行向量。
所以在实时循环学习中，通过迭代递归的方法来进行参数的学习。

这两种算法都是基于梯度下降算法，分别通过前向方法和反向方法应用链式法则来计算梯度。循环神经网络中，一般网络输出的维度远低于输入的维度，故而BPTT算法的计算量会更小，但是在BPTT算法中需要保存所有时刻的中间梯度，空间复杂度比较高。RTRL算法不需要梯度回传，适合于在线学习或者无限序列的任务当中。

3. 常见的循环神经网络及其变体

作为递归神经网络的循环神经网络，其中有各种各样的神经网络。其中最为代表性的有RNN、LSTM、GRU等循环神经网络。这里我们先介绍同步学习的方法，即输入长度和输出长度一致，在梯度更新中我们使用BPTT算法。假设输入变量 x 1 : T = { x 1 , . . . , x T } x_{1:T}=\{x_{1},...,x_{T}\} x1:T​={ x1​,...,xT​}，标签向量 y 1 : T = { y ^ 1 , . . . , y ^ T } y_{1:T}=\{\hat y_{1},...,\hat y_{T}\} y1:T​={ y^​1​,...,y^​T​}。RNN中最大的一个特点是，神经网络的偏置和权重值是共享的，接下来会介绍各种神经网络的原理及其应用。

3.1 RNN神经网络

RNN中最为普通的循环神经网络，假设在$t$时刻输出的隐藏层为$h_t$，则会有
$$h_t=f(W_{ih}{x}_t+b_{ih}+W_{hh}{h}_{t-1}+b_{hh})$$

净输入
$$z_t=W_{ih}{x}_t+b_{ih}+W_{hh}{h}_{t-1}+b_{hh}$$
设t时刻的损失函数为$L_t=L({\hat{y}}_t,y_t)$，并且
$$L=\sum _{t=1}^T{L}_t$$

在梯度更新中，根据上面公式的讨论，我们知道了误差递推公式如下所示：
$${\delta }_{t,k}=\text{diag}(f^{{}^{\prime }}(z_k)W_{hh}^T{\delta }_{t,k+1})$$

梯度更新的表达式如下所示：

∂ L ∂ W h h = ∑ t = 1 T ∑ k = 1 t δ t , k h k − 1 T \frac{\partial L}{\partial W_{hh}}=\sum\limits_{t=1}^{T}\sum_{k=1}^{t}\delta_{t,k}h_{k-1}^{T}