循环神经网络（RNN）与长短期记忆网络（LSTM）讲解

循环神经网络（RNN）

对于典型的深度神经网络（DNN），就是通过在输入层与输出层之间增加隐藏层来构建网络，如下图所示。

与DNN不同的是，循环神经网络（RNN）赋予了网络对前面的内容的一种“记忆功能”，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出，如下图所示。

在上图中，我们可以看出在RNN中有以下传递关系：
$h_t=U{x}_t+W{s}_{}$