什么是Exposure Bias

Exposure Bias 是在RNN（递归神经网络）中的一种偏差

即 RNN 在 训练(training) 时接受的标签是真实的值(ground truth input)，

但测试 (testing) 时却接受自己前一个单元的输出(output)作为本单元的输入(input)，这两个setting不一致会导致误差累积error accumulate

误差累积是因为，你在测试的时候，如果前面单元的输出已经是错的，那么你把这个错的输出作为下一单元的输入，那么理所当然就是“一错再错”，造成错误的累积。