LSTM模型

（一）LSTM模型理解

1.长短期记忆模型（long-short term memory）是一种特殊的RNN模型，是为了解决RNN模型梯度弥散的问题而提出的；在传统的RNN中，训练算法使用的是BPTT，当时间比较长时，需要回传的残差会指数下降，导致网络权重更新缓慢，无法体现出RNN的长期记忆的效果，因此需要一个存储单元来存储记忆，因此LSTM模型被提出；

2.下面两个图可以看出RNN与LSTM的区别：

（1）RNN

（2）LSTM

PS：

（1）部分图形含义如下：

（2）RNN与LSTM最大的区别在于LSTM中最顶层多了一条名为“cell state”的信息传送带，其实也就是信息记忆的地方；

3.LS