50、循环神经网络、Seq2Seq 及词嵌入技术解析

循环神经网络、Seq2Seq 及词嵌入技术解析

1. 深度双向循环神经网络（Deep Bi - RNN）

深度双向循环神经网络（Deep Bi - RNN）具有独特优势，每个双向循环神经网络（Bi - RNN）都能针对不同任务独立训练。若发现或训练出性能更优的 Bi - RNN，还可将其替换使用。

2. Seq2Seq 模型

2.1 翻译挑战与 Seq2Seq 提出

不同语言的词序差异给翻译系统带来挑战。例如英语中形容词通常位于名词前，而法语并非如此。像 “I love my big friendly dog” 翻译成法语 “J’adore mon gros chien amical”，形容词 “gros” 和 “amical” 围绕着名词 “chien”。这表明逐词翻译并非良策，尤其是当输入和输出句子长度不同时，更应进行整句翻译。Seq2Seq（Sequence to Sequence）算法应运而生，用于将一个完整序列转换为另一个可能长度不同的完整序列。

2.2 Seq2Seq 工作原理

Seq2Seq 的核心思想是使用两个循环神经网络（RNN），分别作为编码器（Encoder）和解码器（Decoder）。
- 编码器 ：初始时，其隐藏状态设为某个初始值（如全零）。逐词处理输入，更新隐藏状态并计算输出值，但忽略输出值，只关注隐藏状态的变化。处理完最后一个词后，将其隐藏状态传递给解码器。
- 解码器 ：接收编码器的最终隐藏状态作为自身的初始隐藏状态。按惯例，会给解码器一个特殊的起始标记（如 [START]）。解码器