Layer Normalization

Layer Normalization（层归一化）是一种常用的归一化技术，用于神经网络的每个层的输入进行归一化处理。其公式如下：

对于一个具有特征维度为 \(d\) 的输入 \(x = (x_1, x_2, ..., x_d)\)，Layer Normalization 的计算公式如下：

\[
\text{LayerNorm}(x) = \gamma \odot \frac{x - \mu}{\sqrt{\sigma^2 + \epsilon}} + \beta
\]

其中：
- \( \text{LayerNorm}(x) \) 表示对输入 \( x \) 进行 Layer Normalization 的结果。
- \(\gamma\) 和 \(\beta\) 是可学习的参数向量，维度均为 \(d\)。它们用于对归一化的结果进行缩放和平移，以便让网络自由地学习调整数据的均值和方差。
- \(\mu\) 是输入 \(x\) 在特征维度上的均值，计算方式为：\(\mu = \frac{1}{d} \sum_{i=1}^{d} x_i\)。
- \(\sigma\) 是输入 \(x\) 在特征维度上的标准差，计算方式为：\(\sigma = \sqrt{\frac{1}{d} \sum_{i=1}^{d} (x_i - \mu)^2}\)。
- \(\epsilon\) 是一个小的常数（