Transformers without Normalization paper笔记

关注

原创最新推荐文章于 2026-08-15 17:42:29 发布 1.1k 阅读 AI 写同款· GEO 优化 ›

WAM-202601：LingBot-VA（用于机器人控制的因果世界建模）【自回归扩散框架：利用双流MoT架构将视频与动作统一到单个交错序列中（先预测视频再逆动力解动作）】【基于Wan2.2-5B】 Causal World Modeling for Robot Control用于机器人控制的因果世界建模摘要This work highlights that video world modeling, alongside vision-language pre-training, establishes a fresh and independent foundation for robot learning. Intuitively, video world models provide the ab 阅读详情

paper主要提出了在transformer中替代layer norm的方案，dynamic tanh函数，它是逐元素计算的，避免了layer norm在计算中需要计算channel整体的均值，方差，进行reduce和broad cast计算，天然并行，且硬件友好。
这篇论文专注于 Transformer 中的 LayerNorm 替代，不涉及 CNN 中使用的 BatchNorm 或其他归一化方法。DyT 的设计完全围绕“token 向量级别的标准化”，所以在 CNN 上并不适用。

先复习一下什么是layer norm.

Transformer 中输入通常是：[B, T, C]
B: batch size (样本数）
T: token个数（LLM中是词数，图像中是patch数）
C: channel, 在token中指的是向量维度，也就是embedding dim.

layer norm是对每个 token 的向量 [C] 做归一化，即对最后一个维度做均值/方差计算。

输入形状： [B, T, C]
LayerNorm 就是对每个 [x_t1, x_t2, ..., x_tC] 做归一化
                            ↑
                          每个 token 的 channel 向量

layer norm原理：
在这里插入图片描述
下面进入DyT的介绍，也就是paper部分，然后讨论为什么DyT比layer norm更快。

Abstract

归一化层在现代神经网络中无处不在，长期以来被认为是不可或缺的。
本研究表明，即使不使用归一化层，Transformer 也能通过一种非常简单的技术达到相同甚至更好的性能。
我们提出了一种逐元素操作，称为 Dynamic Tanh（DyT），其形式为：
DyT(x)=tanh(αx)
它可直接替代 Transformer 中的归一化层。

DyT 的灵感来自这样一个观察：在 Transformer 中，LayerNorm 的输入输出关系常常呈现类似 tanh 的 S 形曲线。通过使用 DyT，不含归一化层的 Transformer 模型在各种任务和设置下都能达到甚至超越原有性能，且几乎无需调参。

Introduction

在过去十年中，归一化层已经成为现代神经网络中最基础的组成部分之一。这一切始于 2015 年提出的 Batch Normalization（BN），它显著加快并稳定了视觉识别模型的收敛，并迅速被各类模型采纳。此后，针对不同架构和领域，研究者又提出了许多归一化层的变体，比如：

LayerNorm（LN）
InstanceNorm
GroupNorm
RMSNorm 等

尤其是在 Transformer 架构中，LayerNorm 几乎成为了默认标准，广泛应用于 NLP、CV 和多模态任务中。

归一化层之所以被广泛使用，是因为它们在优化过程中带来了非常显著的经验性好处，比如：

更快收敛
更稳定训练过程
更高的最终性能

随着网络变得越来越深、越来越宽，归一化层显得尤为关键。几乎所有新提出的架构虽然不断尝试替代注意力机制或卷积层，但都保留了归一化层，这本身就说明了社区对其“不可替代性”的默认共识。

本研究提出：这个共识可能是不必要的。

我们从一个直观出发：LN 层的输入输出之间的关系，常常像一个 tanh 函数——它将输入按比例缩放，并“压缩”那些极端的数值。

受此启发，我们提出了一个简单的替代方案：

Dynamic Tanh（DyT）

形式为：

DyT(x)=tanh(αx)
其中 α 是一个可学习的缩放参数

这个函数具备两个目标：

1.通过 α 学习合适的缩放比例（类似 LN 的标准差归一化）
2.通过 tanh 的有界性压缩极端值（类似 LN 对极值的处理）

它和传统归一化层最大的区别是：DyT 完全不依赖均值或方差的计算，因此也不需要统计操作。

在这里插入图片描述

如图所示（图1）：我们只需在 Transformer 架构中直接将 LayerNorm 或 RMSNorm 替换为 DyT，即可构建新的网络。

实验表明，使用 DyT 的 Transformer 在各种设置下都能：

稳定训练
达到和原模型类似甚至更好的最终性能
几乎不需要调超参数

归一化层为何看起来像 Tanh？

作者设计了一个实验：
在 ViT-Small（ViT-S）模型上进行了训练，并在 ImageNet 上进行了标准训练流程（使用 LayerNorm）。

训练完成后，我们收集了训练集图像通过某一层 LayerNorm 的输入张量 x 和输出张量
y=LayerNorm(x)。

然后绘制了 x 与 y 的关系图。
想要看看 LN 的输入输出是否存在某种函数关系，特别是是否具有像 tanh 那样的 S 形结构。

从多个样本中提取出来的成千上万个 (x,y) 对进行绘图。

结果发现：
输出值整体分布在 [−2,2] 之间
和输入 x 的值形成一条平滑的 S 形曲线
随着 x 的绝对值增大，输出 y 趋于饱和（即边界附近变化不大）
和 tanh 曲线非常相似

在这里插入图片描述
图中可以看到layer norm的输出不像ReLU那样是线性的，更像一种非线性压缩函数。

这个压缩行为可以通过 LayerNorm 的数学公式来解释：
在这里插入图片描述

即使没有可学习参数（即 γ=1,β=0），LayerNorm 的标准化部分也会将输入 x 压缩到标准正态分布附近。

这相当于一种“柔性”形式的值域限制，像 tanh 一样，将极值控制在一个有限范围内。

既然 LayerNorm 的作用和 tanh 的输出形态如此相似，我们是否可以用一个可学习参数 α 来控制 tanh 的缩放程度，从而近似模拟 LayerNorm 的作用？

于是我们提出：
在这里插入图片描述
结果发现，这个简单的函数就可以稳定训练 Transformer，而且在多个任务上能达到与 LayerNorm 相当甚至更好的效果。

在这里插入图片描述

当 α 较小时，tanh 函数近似于线性函数（保持信息流畅）；
当 α 较大时，tanh 函数输出趋于饱和（起到“压缩极值”的作用）；
因此，通过学习合适的 α，DyT 可以模仿 LayerNorm 的“柔性标准化”效果。

论文中默认使用的是 通道级 α（向量），即每个通道都有一个独立的可学习 α。

DyT 可以直接用于替代 Transformer 中所有的归一化层。

看下面的图：
在这里插入图片描述
这4个小图是ViT 第 15 层 & 20 层 LayerNorm 输出 vs 输入。
左边两个小图是按token着色，每个颜色是一组 token，展示它在不同 channel 上的表现。
右边两个小图是按channel着色，每种颜色表示一个 channel（特征维度）。