1. RNN-LSTM-GRU

一、 RNN（Recurrent Neural Networks）

About RNN

循环神经网络（RNN）对序列特性的数非常有效，它将上一个时间t-1的隐节点作为当前时间t的输入，主要应用于时序分析、语音识别、机器翻译、NLP等领域。

RNN

RNN存在的问题

梯度消失/爆炸，可以用梯度截断的阈值方法解决，手动将第阈值θ。或者使用LSTM。

二、LSTM（Long Short Term Memory）

About LSTM

解决RNN的长期依赖问题，随着时间片的增加，RNN丧失了学习先前时间片的信息。使用了门机制控制特征的流通与损失（可理解为通过激活函数+矩阵权重控制）。

LSTM

LSTM Code

在这里插入代码片

GRU（Gate Recurrent Unit）

About GRU

同样也是解决长期记忆和反向传播的梯度等问题而提出来的，相比于LSTM，GRU更训练效率更高，参数较少，但性能却和LSTM相差无几。

GRU