注意力机制论文笔记：Neural Machine Translation by Jointly Learning to Align and Translate

论文原文镇四方，大神护我科研顺利，顶会约稿~~

 

这是注意力机制落地到自然语言处理的一篇论文，好像是第一篇，没有考究。

论文中心思想：在传统的机器翻译模型（encoder-decoder）中的decoder中加入注意力机制，使得在解码时不再使用同一段中间向量，而是有针对地对译文中每一个词使用与原文相对的内容来生成的中间向量。

以下先解读论文内容（注重点为注意力机制），再从中抽象出注意力机制的中心思想，不再拘泥于机器翻译。

 

背景：神经机器翻译

从概率的角度看，翻译其实是基于条件x（原句子）找到最大概率的目标句子y。

后来，神经网络的兴起，编码器解码器模型的诞生，成为了一种新兴的方法，先通过将原句编码成一段定长的中间向量，再根据中间向量以及已有译文来进行进行译文生成。

 

RNN Encoder-Decoder

简单介绍一下传统模型，因为之后的注意力模型是基于这种模型进行改良的。

在Encoder-Decoder模型中，编码器把输入句子x(x1,x2,..,xTx),嵌入成c，最常见的方法就是使用RNN，例如：