【每周一文】Sequence to Sequence Learning with Neural Networks（2014）

概述

DNN已经被成功用于多种AI任务，并取得很多可喜的成绩，例如语音识别、图片分类等。然而它们都不能处理序列到序列的任务，该文提出了一个端到端的（End To End）模型处理序列到序列的任务。
本文主要介绍：

1.Seq2Seq任务描述
2.Seq2Seq模型介绍

任务描述

在自然语言处理中有很多任务都可以归约为序列到序列的任务，例如：
1.机器翻译问题
2.语音识别
3.图片添加注释
4. 问答系统
5. 文本摘要

这些问题都1）输入和输出可能都是不同领域2）输入和输出可能长度不一致。

该文提出的Seq2Seq的模型能够处理上述问题，并且能够端到端处理不需要额外其他操作。

Seq2Seq模型

模型简单描述如下：

1.其中序列ABC是输入序列，WXYZ是输出序列，EOS是结束符号
2.模型分为两个阶段1）encode阶段，该阶段将输入序列编码成一个定长维度的向量2）decode阶段，根据编码后向量预测输出向量。
3.编码过程，可以使用标准的RNN模型，例如

htyt=f(