什么是Layer Normalization？

一、概念

        前面的文章中，我们介绍了Batch Normalization。BN的目的是使得每个batch的输入数据在每个维度上的均值为0、方差为1（batch内，数据维度A的所有数值均值为0、方差为1，维度B、C等以此类推），这是由于神经网络的每一层输出数据分布都会发生变化，随着网络层数的增加，内部协变量的偏移程度会变大。我们在数据预处理阶段使用sklearn等工具进行的Normalization仅仅解决了第一层输入的问题，而隐藏层中各层的输入问题仍然存在。因此我们将BN嵌入到模型结构内部，用于把每一个batch的数据拉回正态分布。

        然而，BN通过对每个维度进行正态分布处理，会使得各个维度之间的数值大小关系失真，也就是单一样本内部的特征关系被打乱了。显然，这对于处理文本向量等序列数据来说并不友好，文本向量内部的语义关系会受到BN的影响。因此，预训练模型、大语言模型等内部一般不会采用BN，而是采用Layer Normalization。

        Layer Normalization对神经网络中每一层的输出进行归一化处理，确保单条样本内部各特征的均值为0、方差为1：

• 计算均值和方差：对每个样本的特征维度计算均值和方差。
• 归一化处理：使用计算出的均值和方差对当前样本进行归一化，使其