《神经网络与深度学习》-循环神经网络

  全前馈神经网络，信息单向传递，网络易学习，但能力被减弱。网络输出只依赖于当前的输入。输入输出维数固定。
  循环神经网络，具有 短期记忆能力。其中的神经元可接收 其他神经元的信息和 本身的信息。输入输出可不固定。参数学习可通过 随时间反向传播算法学习。输入序列较长时，错误信息向前传递过长，存在 梯度爆炸和 梯度消失问题，即 长程依赖问题，一种有效的改进方式： 门控机制。
  循环神经网络易拓展到更广义的记忆网络模型： 递归神经网络、 图网络。

1. 给网络增加记忆能力

  时序数据处理需要历史信息。前馈网络无记忆能力。介绍三种方法给网络增加记忆能力。

1.1 延时神经网络

  延时神经网络通过在前馈网络的非输出层中都添加一个延时器，记录神经元的最近几次活性值，增加前馈网络的短期记忆能力。在 $t$ 时刻，第 $l$ 层神经元的活性值依赖于第 $l-1$层神经元的最近 $K$ 个时刻的活性值：

$${h\text{h}h}_t^{(l)}=f({h\text{h}h}_t^{(l-1)},{h\text{h}h}_{t-1}^{(l-1)},\cdot \cdot \cdot ,{h\text{h}h}_{t-K}^{(l-1)})$$

其中 ${h\text{h}h}_t^{(l)}\in {\mathbb{R}}^{{M\text{M}M}_l}$ 表示第 $l$ 层神经元在时刻 $t$ 的活性值，$M_l$ 为第 $l$ 层神经元的数量。前馈神经网络的活性值：

$${a\text{a}a}^{(l)}=f_l({W\text{W}W}^{(l)}{a\text{a}a}^{(l-1)}+{b\text{b}b}^{(l)})$$

1.2 有外部输入的非线性自回归模型

自回归模型 （AutoRegressive Model，AR）统计学上的时间序列模型，用一个变量 ${y\text{y}y}_t$ 的历史信息来预测自己：

$${y\text{y}y}_t=w_0+\sum _{k=1}^K{w}_k{y\text{y}y}_{t-k}+{ϵ}_t$$

其中 $K$ 为超参数，$w_0,\cdot \cdot \cdot ,w_K$ 为可学习参数，${ϵ}_t$ ~ $N(0,{\sigma }^2)$ 为第 $t$ 个时刻的噪声，方差 ${\sigma }^2$ 与时间无关。

有外部输入的自回归模型 （Nonlinear AutoRegressive with Exogenous Inputs Model，NARX），在每个时刻 $t$ 都有一个外部输入 ${x\text{x}x}_t$, 产生一个输出 ${y\text{y}y}_t$, NARX 通过一个延时器记录最近 $K_x$次的外部输入和最近$K_y$次的输出，第 $t$ 个时刻的输出${y\text{y}y}_t$为:

$${y\text{y}y}_t=f({x\text{x}x}_t,{x\text{x}x}_{t-1},\cdot \cdot \cdot ,{x\text{x}x}_{t-K_x},{y\text{y}y}_{t-1},{y\text{y}y}_{t-2},\cdot \cdot \cdot ,{y\text{y}y}_{t-K_y})$$

其中 $f(\cdot )$ 表示非线性函数，可以前馈网络，$K_x$ 和 $K_y$ 为超参数。

1.3 循环神经网络

循环神经网络 （Recurrent Neural Network，RNN）通过使用带自反馈的神经元处理任意长度的时序数据。
  给定输入序列 ${x\text{x}x}_{1:T}=(x_1\text{x1}{x}_1,x_2\text{x2}{x}_2,...,x_t\text{xt}{x}_t,...,x_T\text{xT}{x}_T)$，RNN 这样更新带反馈边的隐藏层的活性值 ${h\text{h}h}_t$：

$${h\text{h}h}_t=f({h\text{h}h}_{t-1},{x\text{x}x}_t)$$

其中${h\text{h}h}_0=0$， $f(\cdot )$ 为非线性函数。可谓前馈网络。从数学上来说，该公式可看成动力系统，故隐藏层活性值 ${h\text{h}h}_t$ 又被成为状态（State）或隐状态（Hidden State）。

2. 简单循环网络

  简单循环网络(SRN)只有一个隐藏层。在一个两层的前馈神经网络中，连接存在相邻的层与层之间，隐藏层的节点之间无连接。简单循环网络增加了隐藏层到隐藏层的反馈连接。

  假设向量 ${x\text{x}x}_t\in {\mathbb{R}}^M$ 表示在时刻$t$时网络的输入， ${h\text{h}h}_t\in {\mathbb{D}}^M$ 表示隐藏层状态（隐藏层神经元活性值）， ${h\text{h}h}_t$和当前时刻输入${x\text{x}x}_t$、上一时刻隐藏层状态${h\text{h}h}_{t-1}$相关。 SRN在t时刻更新公式为：


其中${z\text{z}z}_t$ 为隐藏层的净输入，$U\text{U}U\in {\mathbb{R}}^{D\times D}$ 是状态-状态权重矩阵，$W\text{W}W\in {\mathbb{R}}^{D\times D}$ 是状态-输入权重矩阵，$b\text{b}b\in {\mathbb{R}}^D$ 是偏移向量， 其中 $f(\cdot )$ 表示非线性函数，常为Logistic函数或Tanh函数。
  若把每个时刻的状态都看做前馈神经网络的一层，循环神经网络可看做在时间维度上权值共享的神经网络。按时间展开的循环神经网络：

2.1 循环神经网络的计算能力

  前馈神经网络可以模拟任何连续函数，而循环神经网络可以模拟任何程序。定义一个完全连接的循环神经网络。${x\text{x}x}_t$ 为输入， ${y\text{y}y}_t$ 为输出， ${h\text{h}h}_t$ 为隐状态， $f(\cdot )$为非线性激活函数， $U\text{U}U$ 、$W\text{W}W$ 、$b\text{b}b$ 、$V\text{V}V$为网络参数：

2.1.1 循环神经网络的通用近似定理

  循环神经网络的拟合能力也十分强大。一个完全连接的循环网络是任何非线性动力系统的近似器。可用通用近似定理解释：

2.1.2 图灵完备

  图灵完备（Turing Completeness）是指一种数据操作规则，比如一种编程语言，可以实现图灵机（Turing Machine）的所有功能，解决所有的可计算问题。

  故一个完全连接的循环神经网络可以近似解决所有的可计算问题。

3. 应用到机器学习

  循环神经网络可以应用到三种模式的机器学习任务：：序列到类别模式、同步的序列到序列模式、异步的序列到序列模式。

3.1 序列到类别模式

  序列到类别模式主要用于序列数据的分类问题。比如文本分类任务，输入为单词序列，输出为该文本类别。
  假设输入序列 x 1 : T = ( x 1 , x 2 , . . . , x t , . . . , x T ) \pmb{x}_{1:T} = (\pmb{x_1}, \pmb{x_2}, ... ,\pmb{x_t}, ..., \pmb{x_T}) xxx1:T​=(x1​​x1​​​x1​,x2​​x2​​​x2​,...,xt​​xt​​​xt​,...,x