我理解的RNN和LSTM

参考：https://www.jianshu.com/p/9dc9f41f0b29 很良心的介绍LSTM
我之前接触的神经网络的输入都是一个列向量，表示一个样本，样本集中的样本之间没有关系，也就是说 $x_{t-1}$ 和 $x_{t}$ 之间没有关系，是独立的。但如果我们处理的样本是有关系的，比如说
(1) 两个样本之间有时间关系，构成时间序列
(2) 根据电影前面的剧情预测后面的发展
(3) 常见的句子都是序列，比如，天空是蓝色的，每个字之间都是有序列关系存在的，而不是独立的。
这个时候我们显然不能和以前的处理方式一样，单独处理每一个样本，故出现了RNN(循环神经网络)，所谓的循环 意思是说 会把上一个样本的隐层输出作为下一个样本的输入之一(下一个样本的输入包括 上一个样本的隐层输出和这一层的样本输入)。

RNN结构图

按照时间维度展开

在这个图片中，可以看出 每一个隐层有两个输入(样本和上一个样本的隐层输出)，有两个输出(输出该样本对应的结果和输出给下一个样本的隐层) 比普通的全连接的神经网络多了隐层的循环。
我们在实现这个神经网络的时候，只需要实现左边的样式(输入层、隐层(单个单元)、输出层)，而不用实现展开的样式(右边的)。
**正是因为隐层输出的传递，故RNN允许信息的持久化。也就是这一个样本的输出结果会参照之前样本的信息**RNN 可以被看做是同一神经网络的多次复制，每个神经网络模块会把消息传递给下一个。

LSTM

相关的信息和预测的词位置之间的间隔是非常小的，RNN 可以学会使用先前的信息,但如果离得特别远，RNN就会发挥不好。这属于梯度消失(前面的层比后面的层梯度变化更小，故变化更慢，从而引起了梯度消失问题)现象。我觉得就是传播的太远了，权重本来就很小，乘来乘去越来越小。
Long Short Term 网络，简称LSTM，关键在于上图中A的实现。A为隐层，单隐层函数一般为一个非线性函数，比如tanh函数，

由图片中可见，该隐层(tanh函数)接受两个输入，分别为$x_t$ (这一层的样本)和$h_{t-1}$(上一层的隐层输出)。
LSTM的改进在于隐层的实现：
有三个输入($h_{t-1}$ $x_t$ $c_{t-1}$),(上一个隐层的输出(RNN特性)，当前样本输入，上一个样本的细胞状态(LSTM特性，用于持久化记忆))，两个输出($h_t$ $c_t$)

其中黄框框代表隐层，用到了两个函数sigmoid函数和tanh函数
粉色圆圈代表+运算和x运算，对于样本的每一个维度进行(向量操作)
箭头的流向代表数据的流向
参数个数问题
输入维度为 = (输入样本大小+输入样本大小)
总参数个数 = 输入维度*隐层神经元个数*4(4个隐层 3个sigmoid，1个tanh) +隐层神经元个数*4(偏置)
这个链接介绍了维度计算
https://blog.youkuaiyun.com/xiewenbo/article/details/79452843

LSTM 三个门：忘记门、输入门、输出门

细胞状态类似于传送带。直接在整个链上运行，只有一些少量的线性交互。信息在上面流传保持不变会很容易。

$C_{t-1}$代表t-1时刻(也就是上一个样本)时的细胞状态
$C_{t}$代表t时刻(也就是当前样本)时的细胞状态
门的实例如下：

Sigmoid 层输出 0 到 1 之间的数值，描述每个部分有多少量可以通过。0 代表“不许任何量通过”，因为0和任何数相乘都为0，相当于忘记了上一个状态；1 就指“允许任意量通过”，1
乘以任何数都为他本身。

一共有三个门

忘记门

在我们 LSTM 中的第一步是决定我们会从细胞状态中丢弃什么信息。这个决定通过一个称为忘记门层完成。该门会读取 $h_{t-1}$ 和 $x_t$，输出一个在 0 到 1 之间的数值给每个在细胞状态 $C_{t-1}$ 中的数字。1 表示“完全保留”，0 表示“完全舍弃”。
例如，他今天有事，所以我。。。当处理到‘’我‘’的时候选择性的忘记前面的’他’，或者说减小这个词对后面词的作用。
这一步处理的是$C_{t-1}$，也就是上一步的细胞状态

$f_t$表示上一个样本能够留下来的信息

输入门

下一步是确定什么样的新信息被存放在细胞状态中。这里包含两个部分。第一，sigmoid 层称 “输入门层” 决定什么值我们将要更新。然后，一个 tanh 层创建一个新的候选值向量，会被加入到状态中。下一步，我们会讲这两个信息来产生对状态的更新。
在我们语言模型的例子中，我们希望增加新的主语的性别到细胞状态中，来替代旧的需要忘记的主语。

$i_t$表示当前的状态(样本)能够留下来的信息
$C_t$(其实不是$C_t$,不会打那个符号)表示普通隐层处理过的当前样本，相当于RNN中的隐层。
更新，弱化旧的影响，添加新的影响

输出门

最终，我们需要确定输出什么值。这个输出将会基于我们的细胞状态，但是也是一个过滤后的版本。首先，我们运行一个 sigmoid 层来确定细胞状态的哪个部分将输出出去。接着，我们把细胞状态通过 tanh 进行处理（得到一个在 -1 到 1 之间的值）并将它和 sigmoid 门的输出相乘，最终我们仅仅会输出我们确定输出的那部分。
在语言模型的例子中，因为他就看到了一个 代词，可能需要输出与一个 动词 相关的信息。例如，可能输出是否代词是单数还是负数，这样如果是动词的话，我们也知道动词需要进行的词形变化。

输出的值作为下一个样本的隐层输入。

LSTM的变体

另一个改动较大的变体是 Gated Recurrent Unit (GRU)，这是由 Cho, et al. (2014) 提出。它将忘记门和输入门合成了一个单一的 更新门。同样还混合了细胞状态和隐藏状态，和其他一些改动。最终的模型比标准的 LSTM 模型要简单，也是非常流行的变体。

反向误差

1. 反向计算每个神经元的误差项值。与 RNN 一样，LSTM 误差项的反向传播也是包括两个方向：
   一个是沿时间的反向传播，即从当前 t 时刻开始，计算每个时刻的误差项；
   一个是将误差项向上一层传播。
   以后看