13、循环神经网络（RNN）全面解析与实践

循环神经网络（RNN）全面解析与实践

1. RNN架构基础

在神经网络架构中，不同的结构适用于不同的任务。RNN架构主要分为以下几种类型：
- 一对一架构 ：典型的神经网络，如第7章提到的，输入层和输出层之间有一个隐藏层。
- 一对多架构 ：例如输入一张图像，输出该图像的描述。
- 多对一架构 ：以电影评论为输入，输出电影的情感倾向（积极、消极或中立）。
- 多对多架构 ：像机器翻译，将一种语言翻译成另一种语言。

下面通过一个具体例子更深入地了解RNN架构。任务是“给定一串单词，预测下一个单词”，例如已知句子 “This is an _____”，实际完整句子是 “This is an example.”。

传统文本挖掘技术解决此问题的步骤如下：
1. 单词编码 ：为每个单词编码，必要时预留额外单词的空间。
- This: {1,0,0,0}
- is: {0,1,0,0}
- an: {0,0,1,0}
2. 句子编码 ：对句子进行编码。
- “This is an”: {1,1,1,0}
3. 创建训练数据集 ：
- 输入 –> {1,1,1,0}
- 输出 –> {0,0,0,1}
4. 构建模型 ：使用输入和输出构建模型。