Seq2Seq模型中的label bias和exposure bias问题

从序列到序列的seq2seq模型中，存在着label bias和exposure bias问题。这两个偏差问题是由于不同的原因导致的。先给出结论在分别解释

• label bias：根本原因是我们真实的目标与建模的目标不一致，导致模型最终求得的输出和我们真实想要的输出存在偏差。体现在联合概率分布上就是，真实想要的分布应该是全局归一化得到的。而建模得到的分布是局部归一化得到的。
• exposure bias是由于seq2seq训练难以收敛，而引入了teacher forcing训练技巧，使得训练更容易收敛。由于techer forceing的引入带来了训练和预测时输入值的不一致，导致了exposure bias问题。

1.label bias标签偏差

上面说了label bias根本上是由于真实目标与建模目标不一致导致。我们以教模型写诗为例。

在seq2seq模型中，想要生成一个序列。真实的目的应该是从所有可能的序列结果中选择联合概率最大的那个做为输出。用概率描述就是：
$$\max p(y_1{y}_2...y_n|x_1{x}_2...x_n)$$
真实目的是找到使得上式概率最大的序列作为输出。计算一句话的概率就是语言模型（Language Model，LM）要做的事情。即计算一句话$w_1,w_2,...,w_l$出现的概率$p(w_1{w}_2...w_l)$。只是我们这里是条件概率，所以也可以叫做条件语言模型。下面都是关于语言模型的一些内容，熟悉的跳过。

单向语