RNN

 先放四张RNN的示意图

上图中左边是RNN模型没有按时间展开的图，如果按时间序列展开，则是上图中的右边部分。我们重点观察右边部分的图。

　　　　这幅图描述了在序列索引号t 附近RNN的模型。其中：

　　　　1）x(t)代表在序列索引号 t 时训练样本的输入。同样的，x(t-1) 和 x(t+1) 代表在序列索引号 t−1 和 t+1 时训练样本的输入。

　　　　2）h(t) 代表在序列索引号 t 时模型的隐藏状态。h(t)由x(t)和 h(t-1) 共同决定。

　　　　3）o(t) 代表在序列索引号 t 时模型的输出。o(t)只由模型当前的隐藏状态 h(t) 决定。

　　　　4）L(t) 代表在序列索引号 t 时模型的损失函数，模型整体的损失函数是所有的L(t)相加和。

　　　　5）y(t) 代表在序列索引号 t 时训练样本序列的真实输出。

　　　　6）U,W,V这三个矩阵就是我们的模型的线性关系参数，它在整个RNN网络中是共享的。也正是因为是共享的，它体现了RNN的模型的“循环反馈”的思想。