PreNorm和PostNorm对比

最新推荐文章于 2025-09-18 16:24:32 发布
原创 最新推荐文章于 2025-09-18 16:24:32 发布 · 5.2k 阅读 · 12 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能

博客围绕Transformer架构中的层归一化展开，指出标准Transformer用Post Norm，相同训练设置下Pre Norm效果更好且更易训练，Post Norm需不同训练配置，如加Warmup。还介绍了相关论文对Pre Norm和Post Norm加Warmup情况的解释。

要点总结

  • 标准的Transformer使用的是PostNorm

  • 在完全相同的训练设置下Pre Norm的效果要优于Post Norm，这只能显示出Pre Norm更容易训练，因为Post Norm要达到自己的最优效果，不能用跟Pre Norm一样的训练配置（比如Pre Norm可以不加Warmup但Post Norm通常要加，这里说的warmup是指先给一个小的学习率warmup，然后再Linear decay）。Attention is all you need其实介绍过这种warmup(如下面截图)
    在这里插入图片描述

  • 在huggingface的VitTransformer中，笔者发现layernorm_before和layernorm_after都被用了（python3.9/site-packages/transformers/models/vit/modeling_vit.py）
    在这里插入图片描述

一些博客论文理解与转载

On Layer Normalization in the Transformer Architecture

这篇文章其实重点解释了Pre Norm可以不加Warmup但Post Norm通常要加，三个证明The main idea is that the layer normalization will normalize the gradients. In the Post-LN Transformer, the scale of the inputs to the layer normalization is independent of L, and thus the gradients of parameters in the last layer are independent of L.

为什么Pre Norm的效果不如Post Norm

在这里插入图片描述

taoqick
关注
为什么大模型结构设计中往往使用postNorm而不用preNorm？
stephen147的博客
06-29 2270
*如果不进行Wamrup，那么模型一开始就快速地学习，由于梯度消失，模型对越靠后的层越敏感，也就是越靠后的层学习得越快，**然后后面的层是以前面的层的输出为输入的，前面的层根本就没学好，所以后面的层虽然学得快，但却是建立在糟糕的输入基础上的。很快地，后面的层以糟糕的输入为基础到达了一个糟糕的局部最优点，此时它的学习开始放缓（因为已经到达了它认为的最优点附近），同时反向传播给前面层的梯度信号进一步变弱，这就导致了前面的层的梯度变得不准。而因为pre Norm实际层数少了导致效果变差了。
​为什么Pre Norm的效果不如Post Norm？
Paper weekly
05-01 1805
©PaperWeekly 原创 ·作者 | 苏剑林单位 | 追一科技研究方向 | NLP、神经网络Pre Norm 与 Post Norm 之间的对比是一个“老生常谈”的话题了，本博客就多次讨论过这个问题，比如文章《浅谈 Transformer 的初始化、参数化与标准化》[1]、《模型优化漫谈：BERT 的初始标准差为什么是 0.02？》等。目前比较明确的结论是：同一设...
pre norm和post norm的区别是？ 为什么大模型都用pre norm？ 什么情况下用post norm
强化学习曾小健
08-04 1293
架构类型公式简写措辞说明Post-Norm在子层 (Self‑Attn 或 FFN)输出加入残差后再归一化，是所采用的结构Towards AI+15维基百科+15NeurIPS Proceedings+15。Pre-Norm在进入子层之前先归一化，是 Xiong et al. 2020 等后来主流模型使用的方案维基百科。模型层数不多 (<6–8 层)，且有足够资源调试 learning‑rate warm‑up：Post‑Norm 可能带来更好的泛化或最终性能。
【AI大模型】Qwen和DeepSeek为什么都用Pre-Norm？看完这一篇你就知道了！！
最新发布
bugyinyin的博客
09-18 800
本文详细解析了大模型中常用的Normalization技术，包括不同结构(Pre-Norm/Post-Norm)和不同类型(LayerNorm/RMSNorm/DeepNorm/BranchNorm)。文章解释了各类Normalization的原理、优缺点及适用场景，并提供了代码实现。Pre-Norm更易训练，Post-Norm最终性能更强；LayerNorm处理padding问题，RMSNorm简化计算保留性能；DeepNorm和BranchNorm则提升超深模型训练稳定性。这些技术对稳定训练过程、缓解梯
2022年4月18日字节跳动机器学习AILab一面面试题
weixin_48003282的博客
04-22 1856
1、BN和LN区别。 2、讲讲self attention。 3、Bert的预训练过程。 4、Pre Norm与Post Norm的区别？ 5、GPT与Bert的区别。 6、如何加速Bert模型的训练。
大模型——理论基础——常用的Norm
fan_fan_feng的专栏
02-01 9306
这样的顺序对于训练更深的网络可能更稳定，因为归一化的输入可以帮助缓解训练过程中的梯度消失和梯度爆炸问题。比于LN，可以发现，不论是分母的方差和分子部分，都取消了均值计算，经作者在各种场景中实验发现，减少约 7%∼64% 的计算时间。通过上面三组实验，作者认为 Post-LN 的不稳定性部分来自于梯度消失以及初始化的时候，更新太大，陷入了局部最优，跑不出去了。都是根据模型的Encoder（N）和Decoder（M）层数计算出来的，通过如下方案，作者把模型的层数提升到了1000+。
Pre Norm 和 Post Norm 各自的优缺点？
强化学习曾小健
07-09 4013
但是 Pre Norm 也并不是都是好的，这篇论文指出，Pre Norm 有潜在的（表示塌陷） representation collapse 问题，具体来说就是靠近输出位置的层会变得非常相似，从而对模型的贡献会变小。即使加了 warm up，对warm up 参数的设置也很敏感，比如 warm up step 在500 步时，不同的lrmax 的 BLEU 一个31，一个还不到3。的均值为0，方差都为1，且相互独立。早期的很多模型都用的是 Post Norm，比如著名的 Bert。
【Transformer】Post-Norm和Pre-Norm
weixin_43799388的博客
09-09 4023
Post Norm对模型，尤其是较深的模型训练不稳定，梯度容易爆炸，学习率敏感，初始化权重敏感，收敛困难。因此需要做大量调参工作，以及learning rate warm up的必要工作，费时费力潜在好处是，在效果上的优势，但是这个事情还需要大量专业的实验来验证，毕竟现在大模型训练太费钱了，Post Norm 在效果上带来的提升很可能不如多扔点数据让 Pre Norm 更快的训练出来Pre Norm在训练稳定和收敛性方面有明显的优势，所以大模型时代基本都无脑使用 Pre Norm 了。
「大模型学习」(1)一文看懂pre-norm和post-norm
qq_43044037的博客
05-21 1474
Pre-Norm和Post-Norm是深度学习中两种常见的归一化策略。Pre-Norm在每一层的输入前进行归一化，其特点是训练速度快、梯度传播平稳，但深层模型容易出现信息堆叠重复，导致有效深度打折扣。Post-Norm则在每一层的输出后进行归一化，虽然训练难度较大，但能实现特征逐层深化，最终性能更强，尤其在微调阶段表现更优。总体而言，Pre-Norm更注重工程实用性，而Post-Norm则更强调结构表达力。
postnorm和prenorm LLAMA
03-26
### LLAMA Postnorm 和 Prenorm 的区别 在 Transformer 架构中，Postnorm 和 Prenorm 是两种不同的残差连接与层归一化（Layer Normalization）的应用方式。这两种方法的主要差异在于层归一化的应用位置。 #### 1. ...
Transformer归一化技术解析：Pre-Norm/Post-Norm与LayerNorm/RMSNorm的演进与选择
qq_54445177的博客
04-08 1635
Transformer归一化技术解析：Pre-Norm/Post-Norm与LayerNorm/RMSNorm的演进与选择
LLama2和chatGLM2细节优化
stephen147的博客
06-29 968
1）
Pre Norm与Post Norm的区别
m0_74180527的博客
10-09 578
Pre Norm训练稳定，收敛性好（大模型由于训练的成本较大，基本都使用该方法），但Pre-Norm实际上相当于通过了一个更宽的网络而非更深的网络，在同等深度下，Pre-Norm的实际效果相当于一个更浅却更宽的网络，实际效果不如Post Norm。Post Norm 会导致越靠前的层衰减的越严重，这和残差连接设计的初衷是相悖的，而且训练起来也不稳定，梯度容易爆炸，收敛较为困难（须使用warmup机制）。
pre-norm 和 post-norm 的区别
w18013886857的博客
10-28 1953
之前关注过 pre-norm 和 post-norm 的区别，这篇文章中的 deepnorm 进一步发扬了这一点。
大模型面试题剖析:Pre-Norm与Post-Norm的对比及当代大模型选择Pre-Norm的原因
艾醒的博客
08-25 1788
在深度学习面试中，Transformer模型的结构细节和优化技巧是高频考点。其中，归一化技术（Normalization）的位置选择（Pre-Norm vs. Post-Norm）直接影响模型训练的稳定性，尤其是对于千亿参数级别的大模型。本文将结合梯度公式推导，对比两种技术的差异，并解析当代大模型偏爱Pre-Norm的核心原因。
Normalzation, pre-norm和post-norm的区别？
feifeikon的博客
07-06 940
不仅仅是使用 Layer Norm，各种 Normalize 的操作，首先是因为当神经网络很深的时候，反向传播的参数计算往往都是指数级的变化，太大或者太小的数值送入激活函数后就容易造成梯度消失或者梯度爆炸，训练就挂了。其次是。这个也比较容易理解，模型的每一层都在拟合一个数据分布，而如果不进行 normalize，那么每次的输入分布可能随时都在变化，这样学习起来就很困难。
Post-Norm/Pre-Norm图解对比及解决方案ResiDual
哪惧明天，风高路斜
07-11 865
对比项Post-NormPre-Norm归一化时机残差连接（相加）之后送入注意力/FFN之前残差保留相加后被归一化，原始残差信息被缩放直接与计算结果相加，原始残差信息完整保留梯度传播深层时易因多次归一化导致梯度消失梯度传播更顺畅，适合深层模型问题Post-LN原因Pre-LN原因ResiDual解决方案梯度消失低层输出被多次归一化，梯度指数衰减无（梯度直接流动）双残差分支保障梯度下界，避免衰减表征坍塌无（表征变化稳定）高层表征差异随深度衰减至0。
pre归一化和post归一化的比较
m0_61913233的博客
09-04 744
当t足够大时，Ft-1(Norm(xt-1)) 近似等于 Ft(Norm(xt))，因此原本一个t层的模型与t+1层和，近似等效于一个更宽的t层模型，所以在Pre Norm中多层叠加的结果。但是pre Norm相较于post Norm还是在一些方面是有优势的：可以发现post Norm在梯度范数是不均匀的，越深的层的梯度越大，pre Norm的梯度范数是均匀的。参照我们的plato模型：我们的plato模型使用的归一化是pre Norm。而我们知道，对深度学习而言，网络深度的重要性往往大于网络的宽度。
[从0开始AIGC][LLM]：Pre-Norm or Post-Norm？训练效率还是训练效果？
Bin_Dut的博客
08-27 1314
Pre-Norm和Post-Norm之间的对比是一个“老生常谈“的问题，目前也没有一个比较好的结论解释清楚，当前比较明确的结论是：同一设置下，Pre-Norm结构往往更加容易训练，但最终效果不如Post-Norm。Pre Norm更容易训练好理解，因为它的恒等路径更突出，但为什么它效果反而没那么好呢？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值