NMT、enc-dec的一些笔记

传统的Encoder-Decoder

1、在编码的时候，接收输入$X=\langle x_1, x_2, \dots, x_T \rangle$，生成context vector $C$
2、训练阶段，在解码的时候

2.1、从$C$出发预测$\hat{y}_1$，再依次用$\hat{y}_{i-1}$预测$\hat{y}_i$，即使用预测的$\hat{Y}$而不是真实值$Y$，这样的做法就是让模型自己去学习。这样容易产生误差累积的问题，导致模型学习收敛比较慢。

2.2、如果每次使用真实值的$y_{i-1}$来作为输入生成预测值$\hat{y}_i$，这样的做法就是teacher forcing，也就是加入教师强制指导，这样的好处就是更快的收敛，但是更偏向于单个正确值预测，而在测试的时候这种教师信息是没有的，因此可能导致模型的泛化能力不够。

3、因此可以设定一个比例，作为两种方式的折中