论文笔记：Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation

论文学习：Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation

这篇论文算是 Seq2Seq（Sequenc to Sequence） 的经典论文了。文中提出了一种新的RNN模型结构用于机器翻译等工作，此外，作为LSTM单元的变种和简化版本 GRU 单元也是在文章中首次提出的。很值得一读。

Abstract

摘要部分就是老规矩了，简要介绍文中所建立的新模型。这种名为 RNN Encoder-Decoder 的模型的通过最大化给定序列的条件下目标序列的概率，即最大化这个条件概率，来同时训练编码器和解码器。不过文中也提到，将这个模型作为一种新的特征来与对数线性模型共同使用，具体来说就是计算短语对出现的概率，然后应用到现有的对数线性机器翻译模型中，可以很好的提高模型的翻译性能。这里的对数线性模型之后会介绍到。

1.Introduction

这一部分总体上介绍了深度网络在自然语言处理方向的一些应用，以及稍微详细的介绍了 RNN Encoder-Decoder在机器翻译系统中的使用，这里要注意一点，也就是文中提到了对比其他的模型，本文模型可以学习一个短语的连续表示空间，更好地捕捉到短语的语言规律(linguistic regularity)

2.RNN Encoder-Decoder

这一部分重点介绍