循环神经网络模型系列总结

一、RNN

1.1 模型结构：

1.2 多层RNN

通过num_layers设置循环神经网络隐含层的层数，例如2。

对于一个多层循环神经网络，当前时刻隐含层的输入来自同一时刻输入层(如果有)或上一层隐含层的输出。每一层的隐含状态只沿着同一层传递。把单层循环神经网络中隐含层的每个单元当做一个函数f，这个函数在t时刻的输入是Xt, Ht-1，输出是Ht:

Ht = f(Xt, Ht-1)

加入输入为第0层，输出为第L+1层，在一共L个隐含层的循环神经网络中，上式可以拓展成以下的函数：

如下图所示：

1.3 双向RNN

 

 

二、LSTM

遗忘门：    更新门：