机器学习实战应用案例100篇（五）-注意力机制之Bahdanau注意力从原理到实战应用案例（附代码）

通过联合学习来对齐和翻译的神经机器翻译

1 对齐的提出

与传统的统计机器翻译不同，神经网络机器翻译的目的是建立一个单一的神经网络，通过联合调节使翻译性能最大化。

最近提出的神经机器翻译模型通常属于编码器和解码器的一类，它们将源语句编码成一个固定长度的向量，解码器从中生成翻译。

作者推测，使用一个固定长度的向量是改善这个基本的编码器译码器体系结构性能的一个瓶颈，并提出通过允许一个模型(软)搜索部分源相关的句子预测目标词，不需要将这些部分明确地构成硬段。

这种方法与基本的编码器-解码器最重要的区别是：

1. 它不试图将整个输入句子编码成单个固定长度的向量。

2. 相反，它将输入的句子编码成向量序列，并在解码翻译时自适应地选择这些向量的一个子集。

这使得神经翻译模型不必将源句子的所有信息(无论其长度如何)压缩成固定长度的向量。

该翻译模型由一个编码器（双向RNN）和一个解码器组成，解码器在译码翻译时模拟搜索源语句。旨在通过将解码器与相应的输入句子对齐，实现注意力，改进机器翻译中的序列到序列模型。

2 模型结构