深度学习-循环神经网络（Recurrent Neural Network）RtNN介绍

概念

RNN模型——处理序列信息
最先应用于NLP，用于为语言模型建模
语言模型： 对一种语言的特征进行建模
                   N-Gram:假设一个词出现的频率只与前面的N个词相关。
                   模型大小和N的关系是指数级的，N=4就会占用巨大的存储空间。
                   →RNN

基本循环神经网络

输入层：x向量
隐藏层：s向量
输出层：o向量
U是输入层到隐藏层的权重矩阵
V是隐藏层到输出层的权重矩阵
W是隐藏层上一次的值作为这一次的输入的权重矩阵

展开看图：
这个网络在t时刻接收到输入Xt之后，隐藏层的值是St，输出值是Ot。
St的值不仅仅取决于Xt，还取决于St-1。
Ot = g(VSt)
St = f(UXt+WSt-1)