Tansformer中的层归一化（Layer Normalization）

tansformer镇楼

1、内部协变量偏移问题

假设我们正在训练一个Transformer模型，用于从电影评论数据中预测情感。我们的数据集包含从2000年到2023年的评论，其中包含各种各样的评论风格和词汇。

在训练过程中，我们可能会发现一个问题：随着我们接触到的评论时间越来越近，模型的性能可能会开始下降。原因是什么呢？

原因可能是内部协变量偏移。在我们的例子中，评论的语言和风格与时间紧密相关。在2000年的评论可能会使用一些已经过时的词汇和表达方式，而2023年的评论可能会使用一些新的、流行的词汇和表达方式。

当我们的模型在处理2000年的评论时，它可能会调整其参数以适应这些评论的特点。然而，当模型开始处理2023年的评论时，由于这些评论的特点与2000年的评论不同，模型的参数可能不再适应新的评论。这就是内部协变量偏移：随着训练的进行，每一层的输入分布（即，评论的语言和风格）会随着时间的推移而变化，导致模型的性能下降。

比如说：

假设我们有以下两条电影评论：

评论1（2005年）：“这个电影是个绝对的烂片，我从未看过这么无聊的电影。”

评论2（2023年）：“这个电影真的太糟了，简直是睡眠药。”

在训练过程中，我们可能会发现一个问题：尽管这两条评论在语义上是相似的（都是负面的），但是