深度学习之自然语言处理（RNN）

前馈型神网络：指网络的传播方向是单向的，先将输入信号传给下一层（隐藏层），接收到信号的层也同样传给下一层，然后再传给下一层……像这样，信号仅在一个方向上传播。

存在问题：不能很好地处理时间序列数据（以下简称为“时序数据”）即单纯的前馈网络无法充分学习时序数据的性质。

所以需要引入RNN（循环神经网络）

1 概率和语言模型

1.1 概率视角下的word2vec

与之前不同的是，这里我们将上下文限定为左侧窗口。

CBOW 模型的学习旨在找到使式 (5 . 3) 表示的损失函数（确切地说，是整个语料库的损失函数之和）最小的权重参数。

1.2 语言模型

语言模型 （ language model ）给出了单词序列发生的概率。

比如，对于“ you say goodbye ”这一单词序列，语言模型给出高概率（比如 0 . 092 ）；对于“ you say good die ”这一单词序列，模型则给出低概率（比如 0 . 000 000 000 003 2 ）。

1.3 将CBOW模型用作语言模型？

马尔可夫性是指未来的状态仅依存于当前状态。此外，当某个事件的概率仅取决于其前面的 N 个

事件时，称为“ N 阶马尔可夫链”。 若下一个单词仅取决 于前面 2 个单词的模型，称为“ 2 阶马尔可夫链”。

CBOW模型存在上下文大小问题以及忽略上下文单词顺序问题。

2 RNN

2.1 循环的神经网络

随着数据的循环，信息不断被更新。 通过数据的循环， RNN 一边记住过去的数据，一边更新到最新 的数据。