LSTM-长短期神经网络

        LSTM是特殊的RNN，尤其适合顺序序列数据的处理，内部由遗忘门、输入门和输出门组成，循环神经网络（RNNs）：通过不断将信息循环操作，保证信息持续存在，从而解决不能结合经验来理解当前问题的问题。RNN和LSTM都只能依据之前时刻的时序信息来预测下一时刻的输出

 

        

图中可看出A允许将信息不断的在内部循环，这可以使其保证每一步的计算都能保存以前的信息。

把RNNs自循环结构展开，可以看成是同一个网络复制多次并连成一条线，把自身信息传递给下一时刻的自己。

为了避免RNN出现的梯度消息情况，引出了LSTM的结构如下：

 LSTM内部有四个网络层，这不同于标准RNN网络里只有一个网络层的单元。