论文阅读：《Neural Machine Translation by Jointly Learning to Align and Translate》

4.EXPERIMENT SETTINGS

• task:英法翻译
• 使用ACL WMT’14提供的双语平行语料库。作为对比，采用RNN 的Encoder-Decoder模型在相同的训练集上进行对比。

4.1 数据集

采用双语平行语料库，选用每种语言中最常见的30,000个单词来训练模型，没有包括在里面的被映射成([UNK])。没有采用小写或者词干。（lowercasing or stemming to data）。

4.2 Models

训练了两种模型：

• RNN Encoder–Decoder (RNNencdec ）

• 该文章提出的模型：RNNsearch
  每个模型训练两次：一次是sentence长度为30words;第二次是sentence长度为50words。

• difference：

RNNencdec	RNNsearch
encoder和decoder各有1000个hidden units	1. encoder由forward and backward recurrent neural network组成，每个有1000 hidden units。2.decoder有1000个hidden units。

• common：

1.都使用单个的maxout层计算每个target word的条件概率。
2.使用SGD和Adadelta 来训练每个模型，SGD每80个sentences更新一次方向。

5 QUALITATIVE ANALYSIS

5.2 ALIGNMENT

通过可视化$${\alpha }_{i,j}$$来检查源句子和翻译中单词的软对齐。

.