神经网络机器翻译实现---Seq2Seq+注意力机制

1、NMT（Neural Machine Translation）简介

NMT框架可以简单地表示为如下图：输入句子经过编码得到上下文向量context，context再经过译码得到输出句子

可具体表示为

论文Sequence to Sequence Learning with Neural Networks称这个框架为序列到序列（sequence-to-sequence）

the context vector为，，，

输出

2、准备数据

本文以德文翻译成英文为例，数据集下载https://nlp.stanford.edu/projects/nmt/

一对数据为

本文句子长度设为固定值，输入句子为L，输出为M，为此将上面数据对处理成如下，其中<s>为开始符，</s>为结尾符

为了让模型再译码阶段学习到更多的输入信息，可以将输入句子反转

3、构建模型

xxx

4、性能提升

预训练词向量

teach foucing

Attention

论文Neural Machine Translation by Learning to Jointly Align and Translate