详解自适应层归一化adaLN

        自适应层归一化（Adaptive Layer Normalization，adaLN）是一种归一化技术，用于深度学习模型中特征的标准化。它结合了传统的层归一化（Layer Normalization, LN）和自适应学习的特性，以提高模型在不同任务和数据集上的表现。

一、层归一化（Layer Normalization，LN）

        在了解自适应层归一化之前，我们先回顾一下层归一化。层归一化是一种归一化方法，主要用于处理小批量数据或单个样本数据。它通过对每一层神经元的输出进行归一化，使其均值为 0，方差为 1，从而加速训练过程，提高模型的稳定性。其公式如下：

\[
\hat{x}_i = \frac{x_i - \mu}{\sqrt{\sigma^2 + \epsilon}}
\]

其中，\(x_i\) 是第 \(i\) 个神经元的输入，\(\mu\) 和 \(\sigma^2\) 分别是该层神经元输入的均值和方差，\(\epsilon\) 是防止除零的一个小常数。然后，通过一个可训练的仿射变换恢复归一化后的输出：

\[
y_i = \gamma \hat{x}_i + \beta
\]

其中，\(\gamma\) 和 \(\beta\) 是可训练的参数。

二、自适应层归一化（Adaptive Layer Normalization，adaLN）