Global Attention和Local Attention

1 简介

本文根据2015年《Effective Approaches to Attention-based Neural Machine Translation》翻译总结。

对于翻译任务，第一次引入注意力机制的是[Bahdanau et al.2015]《Neural machine translation by jointly learning to align and translate》，本文是第二篇。

本文提出了两种注意力机制，global和local。翻译任务是将源语句翻译成目标语句，其中Global方法是源语句的所有单词参与注意力，而local只是源语句的一部分参与。Local方法可以看作是hard和soft注意力机制的混合，local方法比global方法、soft注意力计算量小，local方法比hard方法易实施、训练。

基于注意力机制的模型优于非注意力机制的模型，比如在翻译名字、长语句上。

2 Neural Machine Translation

本文使用堆叠的LSTM架构，进行NMT。训练目标函数如下：

其中D是我们并行训练语料库。

3 Attention-based Models

4 Global attention

5 Local Attention

下面考虑两种local方法：
Monotonic alignment (local-m)：单调对齐，公式如下（上面的公式7）：

Predictive alignment (local-p)：非单调对齐，公式如下：

6 Input-feeding Approach

这样（1）使模型可以知道前面的alighment 选择；（2）可以建立一个非常深的网络，无论深度还是宽度。

7 实验结果

我们模型取得了很好的效果，尤其集成（ensemnble）后吧，如下：

可以看到local-p效果不错。