探究Transformer中PostNorm/PreNorm/Initialization/LearningRate之间的关系

最新推荐文章于 2025-04-21 21:58:40 发布
最新推荐文章于 2025-04-21 21:58:40 发布
阅读量8k 收藏 9
点赞数 4
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_37947156/article/details/103559399
版权

论文：On Layer Normalization in the Transformer Architecture

                                                       

 

推荐说明：我们知道，在原始的Transformer中，Layer Norm在跟在Residual之后的，我们把这个称为Post-LN Transformer；而且用Transformer调过参的同学也知道，Post-LN Transformer对参数非常敏感，需要很仔细地调参才能取得好的结果，比如必备的warm-up学习率策略，这会非常耗时间。

所以现在问题来了，为什么warm-up是必须的？能不能把它去掉？本文的出发点是：既然warm-up是训练的初始阶段使用的，那肯定是训练的初始阶段优化有问题，包括模型的初始化。从而，作者发现，Post-LN Transformer在训练的初始阶段，输出层附近的期望梯度非常大，所以，如果没有warm-up，模型优化过程就会炸裂，非常不稳定。既然如此，本文作者尝试把Layer Norm换个位置，比如放在Residual的过程之中（称为Pre-LN Transformer），再观察训练初始阶段的梯度变化，发现比Post-LN Transformer不知道好到哪里去了，甚至不需要warm-up，从而进一步减少训练时间，这一结果的确令人震惊。

推荐理由：本文别出心裁，用实验和理论验证了Pre-LN Transformer结构不需要使用warm-up的可能性，其根源是LN层的位置导致层次梯度范数的增长，进而导致了Post-LN Transformer训练的不稳定性。本文第一次将warm-up、LayerNorm、gradient和initialization联系起来，非常值得一读！

推荐：

1、Transformers without Tears: Improving the Normalization of Self-Attention

2、Transformer中warm-up和LayerNorm的重要性探究

 

sliderSun
关注
【transformer（03/10) 】Hugging Face 安装环境
gongdiwudu的专栏
02-03 4138
关于transformer库的安装环境的说明；因为transformer是一个不小的大型软件，安装的时候对环境还是需要一定规划，一般安装在虚拟环境中，以便与常规软件进行隔离。
【Transformer-Hugging Face 06/10】 数据预处理实例
gongdiwudu的专栏
02-06 3303
在数据集上训练模型之前，需要将其预处理为预期的模型输入格式。无论您的数据是文本、图像还是音频，都需要将它们转换并组装成批量张量。🤗 Transformers 提供了一组预处理类来帮助为模型准备数据
训练过程之学习率调度（Learning Rate Scheduling）- Transformer教程
Aicn112的博客
08-13 773
本文详细介绍了学习率调度的概念及其在深度学习中的重要性，重点探讨了几种常见的学习率调度方法及其在Transformer模型训练中的具体应用。通过合理的学习率调度策略，可以显著提升模型的训练效果和收敛速度。文章还结合BERT模型，说明了预热学习率和线性衰减策略在实际训练中的应用及优势。
Transformer 中的 Pre-LN 与 Post-LN
Flag_ing的博客
04-13 1489
文献“On Layer Normalization in the Transformer Architecture”中提出了一种 pre-LN 的层标准化方法，即把 LN 加在残差连接residual之前，Transformer中原始的层标准化为post-LN，即把 LN 在残差连接residual之后，这样能够提升 Transformer 的稳定性。Post-LN 的方式如下图所示。Pre-LN 的方式如下图所示。Pre-LN 是将每个子层的结束位置的层标准化提前到了该层的开始位置。
Transformer中Post-Norm和Pre-Norm如何选择？
最新发布
大鹏的专栏
04-21 716
这种路径的核心作用是保留原始输入的信息，并通过残差连接（Residual Connection）等机制帮助梯度更顺畅地反向传播，避免深层网络中的梯度消失问题。其中第二项的方差由于有 norm 是不随层数变化的，于是 x 的方差会在主干上随层数积累。到了深层以后，单层对主干的影响可以视为小量，而不同层的 f 统计上是相似的，于是有。这样训练出来的深层 ResNet or Transformer，深层部分实际上更像扩展了模型宽度，所以相对好训练，但某种意义上并不是真正的 deep.
Post-LN, Pre-LN, Sandwich-LN
weixin_46483785的博客
09-17 1455
文章目录Post-LN, Pre-LN, Sandwich-LN层之间的信息流动 & 层之间的耦合区别 Post-LN, Pre-LN, Sandwich-LN Post-LN（后归一化）：在Post-LN中，归一化操作是在每个层的计算之后进行的。具体而言，输入首先通过一个层，然后进行归一化操作，最后再传递到下一个层。这种方式可以保持层之间的信息流动，并且在训练过程中可以更好地控制梯度的传播。 Pre-LN（前归一化）：与Post-LN相反，Pre-LN中的归一化操作是在每个层的计算之前进行的。在
Transformers中的动态学习率
博客
06-19 4868
我这里用的是当时学 Pytorch 时搭的简单模型1，网络结构的示意图大致如下所示，是 FashionMNIST 的多分类任务 贴一下主要代码： 噢，对了，我用的 GPU，设备信息如下： 嗯，对，我还用了 TensorBoard，当时想看看 Loss 和学习率。因为感觉不太对，这个东西用在 CV 上就很奇怪刚开始的时候忘记分文件夹了，每次训练的展示数据都混在一起，画出来的图群魔乱舞后来按时间建文件夹，每个 epoch 一个，然后把路径传入 SummaryWriter我记得在 TF2 里面是传入 callb
学习率预热(transformers.get_linear_schedule_with_warmup)
热门推荐
orangerfun的博客
09-21 2万+
1. 什么是warmup warmup是针对学习率learning rate优化的一种策略，主要过程是，在预热期间，学习率从0线性（也可非线性）增加到优化器中的初始预设lr，之后使其学习率从优化器中的初始lr线性降低到0，如下图所示： 上图中初始learning rate设置为0.0001，设置warm up的步数为100步 2. warmup的作用 由于刚开始训练时,模型的权重(weights)是随机初始化的，此时若选择一个较大的学习率,可能带来模型的不稳定(振荡)，选择Warmup预热学习率的方式，可
为什么大模型结构设计中往往使用postNorm而不用preNorm？
stephen147的博客
06-29 2079
*如果不进行Wamrup，那么模型一开始就快速地学习，由于梯度消失，模型对越靠后的层越敏感，也就是越靠后的层学习得越快，**然后后面的层是以前面的层的输出为输入的，前面的层根本就没学好，所以后面的层虽然学得快，但却是建立在糟糕的输入基础上的。很快地，后面的层以糟糕的输入为基础到达了一个糟糕的局部最优点，此时它的学习开始放缓（因为已经到达了它认为的最优点附近），同时反向传播给前面层的梯度信号进一步变弱，这就导致了前面的层的梯度变得不准。而因为pre Norm实际层数少了导致效果变差了。
transformer详解：transformer/ universal transformer/ transformer-XL
彼得.攀的blog
10-08 2155
首发自彼得攀的小站 特别鸣谢刘陆琛@Mayouji在本文写作过程中的帮助 Attention机制在NLP领域的应用最早可以追朔到2014年，Bengio团队将Attention引入NMT(神经机器翻译)任务 [1]。之后更是在深度学习的各个领域得到了广泛应用：如CV中用于捕捉图像上的感受野；NLP中定位关键token/feature. 作为某种程度上可以称为当下NLP领域最强的特征抽取器的tran...
AI人工智能进阶-BERT/Transformer/LSTM/RNN原理与代码
u012456282的专栏
09-07 1891
所有的分享都来自于我个人笔记，经过我自己的思考总结实践积累下来的东西，希望能帮助到入门的朋友们。
基于keras的transformer learning rate schedule
algorithm learning blog
09-07 302
基于keras的transformer learning rate schedule
【Transformer】Post-Norm和Pre-Norm
weixin_43799388的博客
09-09 2477
Post Norm对模型，尤其是较深的模型训练不稳定，梯度容易爆炸，学习率敏感，初始化权重敏感，收敛困难。因此需要做大量调参工作，以及learning rate warm up的必要工作，费时费力潜在好处是，在效果上的优势，但是这个事情还需要大量专业的实验来验证，毕竟现在大模型训练太费钱了，Post Norm 在效果上带来的提升很可能不如多扔点数据让 Pre Norm 更快的训练出来Pre Norm在训练稳定和收敛性方面有明显的优势，所以大模型时代基本都无脑使用 Pre Norm 了。
pre-norm 和 post-norm 的区别
w18013886857的博客
10-28 1796
之前关注过 pre-norm 和 post-norm 的区别，这篇文章中的 deepnorm 进一步发扬了这一点。
PreNorm和PostNorm对比
taoqick的专栏
01-27 4134
标准的Transformer使用的是PostNorm在完全相同的训练设置下Pre Norm的效果要优于Post Norm，这只能显示出Pre Norm更容易训练，因为Post Norm要达到自己的最优效果，不能用跟Pre Norm一样的训练配置（比如，这里说的warmup是指先给一个小的学习率warmup，然后再Linear decay）。Attention is all you need其实介绍过这种warmup(如下面截图)
[动手学深度学习]注意力机制Transformer学习笔记
Sherlily的博客
10-02 306
深度学习注意力机制Transformer
机器学习笔记5(Transformer)
wolf_qu的博客
03-31 1587
1.Batch Normalization 问题引入：当function为y=w1*x1+w2*x2+b时，若输入x1很小x2很大，则当w1和w2变化相同的Δw时，体现在y上的变化量却很不相同，这不利于我们的参数学习优化 因此我们需要使用normalization将输入进行正则化来消除由于参数差距过大带来的影响，normalization即将每一个输入减去均值后除标准差，即 当batch normalization运用到deep learning时，一般会在activation funct..
transformer模型探究
weixin_43481289的博客
12-09 213
研究学习https://luozhouyang.github.io/transformer/的解决的问题： len 变为 len.item() if attn_mask 变为 if attn_mask is not None:
Pre Norm 和 Post Norm 各自的优缺点？
强化学习曾小健
07-09 3282
但是 Pre Norm 也并不是都是好的，这篇论文指出，Pre Norm 有潜在的（表示塌陷） representation collapse 问题，具体来说就是靠近输出位置的层会变得非常相似，从而对模型的贡献会变小。即使加了 warm up，对warm up 参数的设置也很敏感，比如 warm up step 在500 步时，不同的lrmax 的 BLEU 一个31，一个还不到3。的均值为0，方差都为1，且相互独立。早期的很多模型都用的是 Post Norm，比如著名的 Bert。
postnorm和prenorm LLAMA
03-26
### LLAMA Postnorm 和 Prenorm 的区别 在 Transformer 架构中，Postnorm 和 Prenorm 是两种不同的残差连接与层归一化（Layer Normalization）的应用方式。这两种方法的主要差异在于层归一化的应用位置。 #### 1. **Postnorm** 在传统的 Transformer 架构中，层归一化被放置在子层之后，即在残差连接之后执行。这意味着输入数据会先经过自注意力机制或前馈网络处理，然后再进行层归一化操作[^1]。这种设计可以看作是一种“后置”的规范化策略。 - 结构描述： 输入 → 子层（Self-Attention 或 Feedforward Network）→ 层归一化（Layer Norm） - 特点： - 更接近原始的 Transformer 设计。 - 可能会在训练初期引入较大的梯度波动，因为未经归一化的激活值可能会导致不稳定[^2]。 #### 2. **Prenorm** 相比之下，Prenorm 将层归一化移动到子层之前的位置。也就是说，在进入自注意力机制或前馈网络之前，输入会被先行归一化。这种方式能够有效稳定训练过程中的梯度流动[^3]。 - 结构描述： 输入 → 层归一化（Layer Norm）→ 子层（Self-Attention 或 Feedforward Network） - 特点： - 提高了模型训练的稳定性，尤其是在深层网络中表现更优。 - 能够缓解因未归一化而导致的梯度爆炸或消失问题。 - 需要注意的是，最终输出仍然可以通过额外的 Layer Norm 来进一步优化性能[^4]。 #### 实现对比 以下是两者的伪代码实现： ```python # Postnorm Implementation def postnorm(x, sublayer): output = sublayer(x) # Apply self-attention or feed-forward network normalized_output = layer_norm(output + x) # Residual connection followed by normalization return normalized_output # Prenorm Implementation def prenorm(x, sublayer): normalized_input = layer_norm(x) # Normalize input before applying sublayer output = sublayer(normalized_input) # Apply self-attention or feed-forward network final_output = output + x # Add residual connection return final_output ``` ### 总结 Postnorm 和 Prenorm 的主要区别在于层归一化的顺序安排不同。尽管两者都能完成任务，但在实际应用中发现 Prenorm 对于大规模预训练语言模型（LLMs），特别是像 LLaMA 这样的模型来说更加友好，因为它有助于提升训练效率并减少潜在的不稳定性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值