LSTM (Long Short-Term Memory)

正如其名它是长时记忆和短时记忆相结合

RNN中将序列信息进行运用，但是也存在他的缺点就是随着时间序列的长度增加，产生梯度消失和梯度爆炸问题，因此长期记忆能力有限，所以引出LSTM。（但是对于较短的序列，RNN 可能能够较好地学习到其中的模式和关系。）

LSTM相当于给RNN模块增加了一个笔记本以达到长期记忆的效果

LSMT模块：

LSTM主要包含四个门（遗忘门、输入门、候选记忆和输出门）来决定当前时刻的隐状态和记忆单元如何更新。对于每个时间步，LSTM会基于当前的输入和上一时刻的隐状态以及记忆单元来进行计算。

LSTM的一些核心公式：

遗忘门（Forget gate）决定上一时刻的记忆单元中有多少信息被遗忘：

输入门（Input gate）决定当前时刻输入的信息有多少被存储在记忆单元中：

候选记忆（Candidate memory）决定当前输入的候选记忆内容：

更新记忆单元（Update cell state）基于遗忘门和输入门来更新记忆单元：

输出门（Output gate）决定当前时刻的输出（隐状态）：

计算隐状态（Output hidden state）：