31、神经机器翻译：编码器 - 解码器模型配置指南（上）

神经机器翻译：编码器 - 解码器模型配置指南（上）

1. 神经机器翻译成果展示

在神经机器翻译领域，有两个模型取得了显著成果。一个系统达到了 34.81 的 BLEU 分数，相较于基于统计机器翻译系统的 33.30 基线分数表现更优，这也是神经网络直接翻译取得的最佳结果。最终模型对最佳翻译列表进行重新评分后，分数提高到 36.5，接近当时的最佳结果 37.0。

2. Cho NMT 模型介绍

Cho NMT 模型由 Kyunghyun Cho 等人在 2014 年的论文中提出。该模型主要用于对候选翻译进行评分，而非像 Sutskever 模型那样直接用于翻译，但在后续改进中也有直接用于翻译的情况。
- 问题设定 ：该模型针对的是 WMT 2014 研讨会中的英 - 法翻译任务。源语言和目标语言的词汇表被限制为最常见的 15,000 个法语和英语单词，覆盖了 93% 的数据集，词汇表外的单词用 UNK 替换。模型采用 RNN 编码器 - 解码器架构，由两个循环神经网络组成，一个将符号序列编码为固定长度的向量表示，另一个将该表示解码为另一个符号序列。实现中未使用 LSTM 单元，而是采用了更简单的门控循环单元（GRU）。
- 模型配置 ：
- 输入单词使用 100 维的词嵌入表示。
- 编码器和解码器均配置为 1 层，每层有 1000 个 GRU 单元。
- 解码器后使用 500 个最大池化单元，每个单元合并 2 个输入。
- 训练时批量大小为 64 个句子。
- 模型训练约 2 天。