***chapter 16 神经网络机器翻译技术

本章主要介绍两部分内容：
1、神经网络机器翻译技术的原理；
2、利用Tensorflow NMT 实现“机器翻译”；

一、神经网络机器翻译原理

（一）Encoder - Decoder 模型的原理

在传统的 N VS N RNN中，其input和output等长，他的这种特性限值了他在“机器翻译”领域的应用，因为，在机器翻译中，“原文”和“译文”往往是不等长的。
Encoder - Decoder 模型有效解决了 “N VS N RNN”的缺陷，其核心思想是：将input转为一个context（c）（c实际是一个hidden value），然后在将context转为output，其结构图如下所示：


Encoder - Decoder模型可以处理很多问题，如下图所示：

通过Encoder - Decoder模型可以有效解决input和output不等长的问题，但是，在该模型中，context©必须包含Input的所有信息，当input过长时，context（c）将无法存储如此之多的信息，这将导致翻译质量的下降，为解决此问题，引入了“注意力机制”。

（二）注意力机制

注意力机制通过在不同的时间段，输入不同的c值解决了Encoder - Decoder模型的瓶颈，其结构如下所示：