论文学习笔记02（Learning phrase representations using rnn encoder-decoder for statistical machine translat）

论文学习笔记

Learning phrase representations using rnn encoder-decoder for statistical machine translation

一.RNN Encoder-Decoder

1.优：

（1）能更好的捕捉短语的语义规律
（2）学习的是短语的连续空间表示，保留了短语的语义和句法结构。

2.RNN

$$h_{<t>}=f(h_{<t-1>},x_t)$$
用到前一神经元的信息。
$f$：非线性激活函数
RNN特点：用到序列信息，在预测时，序列信息很重要

3.Decoder

$$h_{<t>}=f(h_{<t-1>},y_{<t-1>},c)$$
下一个symbol的概率：
$$P(y_t|y_{t-1},y_{t-2},...,y_1,c)=g(h_{<t>},y$$