2025_NIPS_Learning in Compact Spaces with Approximately Normalized Transformer

文章核心总结与翻译

一、主要内容

本文针对Transformer训练中存在的过拟合、数值不稳定性、残差流方差增大及"深度诅咒"（深层网络输入范数爆炸）等问题，提出了近似归一化Transformer（anTransformer） 及其GPT适配版本（anGPT）。该方法基于高维空间中向量范数的集中现象，通过简单标量乘法实现近似归一化，无需额外归一化层，同时约束参数范数而非严格归一化。

实验验证显示，anGPT在SlimPajama等数据集上训练时，相比带QK归一化的GPT模型收敛速度提升高达40%，训练步骤 runtime 仅增加3%，推理时间与GPT相当；且无需权重衰减和学习率预热，减少了超参数调优成本。在不同模型规模（32M-1B参数）和下游任务（PIQA、ARC-Easy等）中，anGPT均表现出优于或持平于nGPT（归一化Transformer）和GPT+的性能，同时保持了与经典GPT一致的良好缩放特性。

二、创新点

1. 近似归一化机制：利用高维空间的测度集中现象，通过输入独立的归一化因子ν（近似向量范数的倒数）实现近似归一化，避免了精确归一化的计算开销。
2. 参数约束策略：不对参数进行严格归一化，而是约束其输入维度的L2范数≤1，既保留参数灵活性，又消除了权重衰减的需求。
3. 架构优化设计：替换传统归一化层为后L2归一化，用线性插值（LERP）替代经典残差更新，添加特定于网络组件（注意力、MLP）的常量归一