15、循环神经网络（RNN）与序列模型详解

循环神经网络（RNN）与序列模型详解

1. 序列模型或RNNs简介

在处理输入数据相互依赖的情况时，卷积神经网络（ConvNets）往往表现不佳。因为ConvNets中前一个输入和下一个输入之间没有关联，所有输出都是相互独立的。例如，运行100个不同输入时，每个输入的输出都不会受到前一个输出的影响。

然而，在句子生成或文本翻译等任务中，生成的每个单词都依赖于之前生成的单词（有时也依赖于后续的单词）。因此，我们需要一种基于先前输出产生偏差的模型，这就是序列模型发挥作用的地方。序列模型具有记忆功能，能够记住数据序列中先前发生的事情，从而帮助系统获取上下文信息。

序列模型利用顺序信息，与之前的神经网络模型不同，在处理一些现实问题时，先前模型中输入（和输出）相互独立的方式可能并不合适。例如，预测句子中的下一个单词时，了解先前的单词序列会更有帮助。序列模型在训练过程中会记住这些关系，其特定单元的输出依赖于先前的计算。

序列模型是循环的，因为它们对序列的每个元素执行相同的任务，并具有“记忆”功能，能够捕获直到某个时间步的计算信息。与前馈神经网络不同，序列模型可以利用其内部状态（记忆）来处理输入序列。

我们使用以下符号来描述RNN对象：
- 上标 [l] 表示与第l层相关的对象。
- 上标 (i) 表示与第i个观测相关的对象。
- 上标 ⟨t⟩ 表示在第t个时间步的对象。
- 下标i表示向量的第i个元素。
- (a^{[l]}_i) 表示第l层激活的第i个元素。
- (\hat{y}^{\langle t \rangle}(i)) 是第i个观测在第t个时间步的预测输出。

所有