机器翻译seq2seq+Attention（理论+代码）

导语：看本文之前，你应该熟悉RNN（LSTM、GRU）工作原理、pytorch中LSTM的使用以及一些张量操作。

1.前言

seq2seq 是一个Encoder–Decoder 结构的网络，它的输入是一个序列，输出也是一个序列， Encoder 中将一个可变长度的信号序列变为固定长度的向量表达，Decoder 将这个固定长度的向量变成可变长度的目标的信号序列。如下是 Seq2Seq 模型工作的流程：

图1中无论是编码器还是解码器，都是用的循环神经网络，编码器用来分析输入序列，解码器用来生成输出序列。我们可以看到在编码器最后一个位置的输入是""(end of sequence)来表示序列的终止，编码器中每个时间步的输入依次为英语句子中的单词、标点和特殊符号""。在图1中使用了最终的时间步的隐藏状态作为输⼊句⼦的表征或编码信息。解码器在各个时间步中使⽤输⼊句⼦的编码信息和上个时间步的输出以及隐藏状态作为输⼊。我们希望解码器在各个时间步能正确依次输出翻译后的法语单词、标点和特殊符号""。需要注意的是，解码器在最初时间步的输⼊⽤到了⼀个表示序列开始的特殊符号""(beginning of sequence)。

2.编码器

这里的编码器是把一个不定长的序列变成了一个定长的背景变量$c$，那么该背景变量就包含了输入序列的信息。常用的编码器就是循环神经网络。

假设输⼊$x_1$，······，$x_T$，其中$x_i$是句子中第$i$个词，在时间步$t$，循环神经网络将输入$x_t$的特征向量${\mathbf{x}}_t$和上个时间步的隐藏状态$h_{t-1}$变换为当前时间步的隐藏状态$h_t$，在这里使用函数$f$表达循环神经网络隐藏层的变换：
$${\mathbf{h}}_t=f\left({\mathbf{x}}_t,{\mathbf{h}}_{t-1}\right)$$
下面我们定义函数$q$将各个时间步的隐藏状态变换为背景变量：
$$\mathbf{c}=q\left({\mathbf{h}}_1,\dots ,{\mathbf{h}}_T\right)$$
例如，当选择$q\left({\mathbf{h}}_1,\dots ,{\mathbf{h}}_T\right)={\mathbf{h}}_T$时，背景变量是输⼊序列最终时间步的隐藏状态$h_T$。

以上描述的编码器是⼀个单向的循环神经⽹络，每个时间步的隐藏状态只取决于该时间步及之前的输⼊⼦序列。我们也可以使⽤双向循环神经⽹络构造编码器。在这种情况下，编码器每个时间步的隐藏状态同时取决于该时间步之前和之后的⼦序列（包括当前时间步的输⼊），并编码了整个序列的信息。

3.解码器

我们已经知道编码器输出的背景变量$c$，编码了整个输⼊序列$x_1$，······，$x_T$的信息。给定训练样本中的输出序列$y_1,y_2,\dots ,y_{T^{\prime }}$，对每个时间步$t^{\prime }$(符号与输⼊序列或编码器的时间步$t$有区别)，解码器输出$y_{t^{\prime }}$的条件概率可以写成下面的公式：
$$P\left(y_{t^{\prime }}\mid y_1,\dots ,y_{t^{\prime }-1},\mathbf{c}\right)$$</