2025_NIPS_On Separate Normalization in Self-supervised Transformers

文章总结与翻译

一、主要内容

本文聚焦自监督Transformer模型中的归一化问题，针对传统模型（如BERT、MAE）中[CLS]令牌与普通令牌共享单一归一化层（ShareNorm）的局限性，提出了一种新的归一化方法——分离归一化（SepNorm）。

核心研究内容包括：

1. 指出传统共享归一化的缺陷：[CLS]令牌需捕捉全局上下文信息，而普通令牌侧重局部特征，两者特性差异导致共享归一化会引发[CLS]嵌入的维度坍缩，难以充分编码全局信息。
2. 提出SepNorm方案：为[CLS]令牌和普通令牌分别设计独立的归一化操作，支持层归一化（LN）与批归一化（BN）的多种组合（如[CLS]用BN、普通令牌用LN），避免两类令牌的特征干扰。
3. 补充对比损失项：将SepNorm与均匀性损失结合，进一步提升[CLS]嵌入的分布均匀性，增强信息编码能力。
4. 跨领域验证：在计算机视觉（STL10、SVHN等数据集）、自然语言处理（STS任务、迁移学习任务）和图学习（分子性质预测）三大领域进行实验，验证SepNorm的通用性。

实验结果表明，SepNorm平均能提升2.7%的任务性能，有效缓解[CLS]嵌入的维度坍缩问题，使特征分布更均匀，下游任务表现更优。

二、创新点

1. 提出分离归一化理念：首次明确区分[CLS]令牌与普通令牌的归一化需求，通过独立归一化通道解决两类令牌的特征干扰问题，结构简单且易集成到现有Transformer模型中。
2. 验证归一化组合有效性：系统探索