In this paper, we propose an approximate training algorithm based on (biased) importance sampling that allows us to train an NMT model with a much larger target vocabulary. 

神经网络翻译模型(Bahdanau et al., 2014等提出的):

基本结构是seq2seq,即由编码器和解码器组成(encoder-decoder).

编码器(encoder)读入源句子(待翻译句子) x = (x1, . . . , xT),其中T为句子的长度(即词的个数),进入编码器后对应的隐状态为h = (h1, · ·· , hT).

每个隐状态计算方法: ht = f (xt, ht−1)  (1)

即RNN的计算公式.

解码器(decoder)在编码器隐状态h的基础上, 生成相应的翻译y = (y1, · ·· , yT') :

具体结构参考下图: