28、理解顺序模型：从RNN到GRU

理解顺序模型：从RNN到GRU

1. 单词编码与词汇表

在处理自然语言处理（NLP）任务时，每个单词 ( 𝑥_{<𝑡>} ) 通常使用独热向量（one - hot vector）进行编码。这里涉及到两个重要概念：
- ( V )：代表词汇集，是不同单词的集合。例如，在广泛应用场景中，可将 ( V ) 想象成标准英语词典中的所有单词，大约有150,000个。但对于特定NLP任务，可能只需要这个庞大词汇表的一个子集。
- ( |V| )：表示词汇表 ( V ) 的大小，即其中单词的总数。

形式上，( 𝑥_{<𝑡>} \in R^{|V|} )。

2. 循环神经网络（RNN）的训练

2.1 第一个时间步的训练

RNN按时间步依次分析序列。在第一个时间步 ( t_1 )，网络接收输入 ( 𝑥_{ } )，并做出初始预测 ( 𝑦̂ { } )。在每个时间步 ( t )，RNN会利用上一个时间步的隐藏状态 ( ℎ { } ) 来提供上下文信息。但在 ( t_1 ) 时，由于没有之前的隐藏状态，所以 ( ℎ_{ } ) 初始化为零。

2.2 激活函数的作用

激活函数是神经网络的关键组件，它决定了有多少信号会传递到下一层。在 ( t_1 ) 时间步，激活函数接收输入 ( 𝑥_{ } ) 和上一个隐藏状态 ( ℎ_{ } )（此时为零）。

常见的激活函数选择是 “tanh”，这是为了应对神经网络中的梯度消失问题。在训练模型时，梯度值有时会逐渐减小到极小的数字，导致网络权重的调整几乎可以忽略不计，学习过程变得极