五、循环神经网络语言模型（RNN）

1 循环神经网络基础知识

• 循环核（Recurrent Cell）定义： 指在时刻 t 时的神经网络单元，用来处理当前时刻的输入和上一时刻的隐藏状态，并生成当前时刻的输出和下一时刻的隐藏状态。
• 记忆体（Memory）定义： 指网络中的隐藏状态在处理序列数据时具有记忆功能，可以捕捉到序列数据中的长期依赖关系，能够保存当前时刻之前的信息，并传递到当前时刻。

2 循环神经网络定义

循环神经网络（Recurrent Neural Network, RNN），又称为递归神经网络（Recursive Neural Network, RNN）是一种用于处理具有序列关系数据的网络。

RNN的本质就像人一样拥有记忆的能力，表现为网络会对当前时刻之前的序列信息进行记忆并应用于当前时刻输出的计算中。

在序列的演进方向进行递归运算，其中隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括当前时刻输入层的输出还包括上一时刻隐藏层的输出。

3 循环神经网络原理图

RNN数学推导及其python代码实现

• 前向传播时：记忆体内存储的状态信息ht，在每个时刻都被刷新，三个参数矩阵Wxh, Whh, Why自始至终都是固定不变的。
• 反向传播时：三个参数矩阵Wxh, Wh