【CS224n】Neural Machine Translation with Seq2Seq

最新推荐文章于 2024-02-23 12:22:31 发布

原创

最新推荐文章于 2024-02-23 12:22:31 发布 · 589 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#自然语言处理

本文深入探讨了Seq2Seq模型及其在神经机器翻译(NMT)中的应用，包括传统翻译系统的局限性、Seq2Seq架构、双向RNN、注意力机制、不同NMT模型及解码策略，以及翻译系统的评估方法。

CS224n系列：
【CS224n】Neural Networks, Backpropagation
【CS224n】Neural-Dependency-Parsing
【CS224n】Language Models, RNN, GRU and LSTM
【CS224n】Neural Machine Translation with Seq2Seq
【CS224n】ConvNets for NLP

1 Neural Machine Translation with Seq2Seq

1.1 Brief Note on Historical Approaches

传统的翻译系统是基于概率模型的，包括翻译模型和语言模型，并由此建立起基于词或短语的翻译系统。朴素的基于词的翻译系统没办法捕捉词的顺序关系；基于短语的翻译系统可以考虑输入和输出的短语序列，并且可以处理比基于单词的系统更复杂的语法，但仍然没办法捕捉序列的长期依赖。Seq2seq模型作为一种现代的翻译系统，可以考虑序列的长期依赖（LSTM），来生成更实用的翻译结果。

Sequence-to-sequence Basics

seq2seq框架是一个end-to-end的模型，包括两部分的RNN：

encoder:将输入序列编码成一个固定长度的向量；
decoder:使用encoder得到的固定长度的向量作为种子（引子）添加到decoder模型中，以此来生成一个输出序列；
本文中，Seq2Seq模型通常称为“encoder-decoder model”.

1.3 Seq2Seq architecture - encoder

上文提到，encoder是将输入序列编码成一个固定长度的向量，通常使用RNN(LSTM)。然而，要将一个任意长的序列转换成一个向量是比较难的事，因此我们通常使用多层的LSTM（stacked LSTMs），最后一层的隐藏层状态为变量C。
Seq2Seq encoders可以使用一种策略：将输入序列倒序输入。这么做的目的是：encoder阶段看到的最后一个词刚好是decoder阶段最先看到，这使得decoder在解码的开始阶段更容易输出正确结果，从而引导模型一步步得到更适当的输出。具体结构如下图所示：
在这里插入图片描述

1.4 Seq2Seq architecture - decoder

decoder阶段同样是一个LSTM模型，但网络结构会相对复杂一些，使用encoder阶段输出的变量来初始化隐藏层。下图是decoder阶段的一个例子：
在这里插入图片描述

1.5 Recap & Basic NMT Example

encoder跟decoder关于序列长度这一块是相互独立的，理论上，模型可以接受任意长的输入，同时可以有任意长的输出。当然，输入太长的话模型的效果会下降；模型的输出以作为标记。

1.6 Bidirectional RNNs

我们前面所讲的模型都只考虑到了一个方向，没办法学习一个词的上下文信息。而双向RNN可以解决这个问题，它通过将一个序列输入到一个从左到右的RNN模型和一个从右到左的RNN模型，然后将两个模型的输出结果拼接起来(concat)作为总的输出。模型框架如下图所示：
在这里插入图片描述

2 Attention Mechanism

2.1 Motivation

动机：针对一个句子，我们可能关注的重点不一样，比如句子"the ball is on the field,"，我们可能更关注"ball," “on,” “field,” 等词，也就是说，这些词相对于其他词重要性更高一些，因为我们有了注意力机制，来捕获这种对词的重要性的描述。

2.2 Bahdanau et al. NMT model

下面介绍早期将注意力机制用于RNN模型的一种方法(可参考：Bahdanau et al. 2014, “Neural Machine Translation by Jointly Learning to Align and Translate”).
首先定义好输入句子 $x_1,...,x_n$ ，以及输出句子 $y_1,...,y_m$ .

encoder: $h_1,...,h_n)$ 表示输入句子的隐藏层表示，encoder使用bi-LSTM来捕捉句子中每个词的上下文表示；
decoder: decoder阶段的隐藏层表示 $s_i$ 使用以下的递归形式：
$s_i=f(s_{i-1},y_{i-1},c_i)$
其中， $s_{i-1}$ 表示上一个时刻的隐藏向量，