深入理解NLP中LayerNorm的原理以及LN的代码详解

已于 2024-02-14 11:24:03 修改
阅读量4.5w 收藏 409
点赞数 208
分类专栏： 知识点理解 机器学习 大厂算法岗求职攻略 文章标签： 自然语言处理 LayerNorm
于 2021-12-11 22:48:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_43827595/article/details/121877901
版权
本文深入探讨NLP中LayerNorm（LN）的原理，对比BatchNorm（BN）的差异，解释为何LN适合NLP任务。通过实例解析LN在图像和NLP领域的应用，并讨论Transformer中LN的作用。同时，文章阐述了LN与BN在训练和测试阶段的不同，并介绍了BN、LN、IN、GN等归一化方法的区别。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

深入理解NLP中LayerNorm的原理以及LN的代码详解

在介绍LayerNorm之前，我们先来思考一下，为什么NLP中要引入LayerNorm？

如果你学过一点深度学习，那么应该多多少少听过BatchNorm这个东西。BN简单来说就是对一批样本按照每个特征维度进行归一化。BN具体细节请看我的另一篇博客：深入理解BatchNorm的原理

以下图为例演示下BatchNorm的过程，我们会对R个样本的“成绩”这个特征维度做归一化。
在这里插入图片描述

但在NLP领域，每个样本通常是一个句子，而句子中包含若干个单词。这时如果使用BN去做过归一化通常效果会很差。

在这里插入图片描述

那有没有更好的归一化方法呢？

了解本专栏 订阅专栏 解锁全文 超级会员免费看
layernorm
数字人生
05-09 981
LayerNorm最初由Ba等人于2016年提出，并被Vaswani等人在其著名的《Attention is All You Need》论文中引入到Transformer模型中。GPT-2采用了相同的架构，但将LayerNorm的位置移动到了现在被称为预归一化版本的位置，即在Transformer的每个块的第一层进行归一化，这有助于提高训练稳定性。
NLP之Transformer：六大核心技术点(ED/SA/MHA/PE/FNN/RC-LN)、统计各模块可训练参数、全流程各子模块原理详解(IE+PE→Encoder【MHSA+Add&Norm+P
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
02-28 4671
​ NLP之Transformer：Transformer算法的六大核心技术点(ED/SA/MHA/PE/FNN/RC-LN)、全流程各子模块原理详解——输入Embedding+位置编码、Encoder(MHA→PwFFNN)、Decoder(MaskeMHA→MHA→PwFFNN)、Linear+Softmax之详细攻略 目录 相关文章 一、Transformer算法拆解图：吊炸天的序列模型 二、Transformer的六大核心技术点(ED/SA/MHA/PE/FNN/RC-LN)
【深度学习】BatchNorm、LayerNorm
研究兴趣：开放集识别、开放世界识别、新类发现、增量学习、少样本学习
04-14 1万+
BatchNorm、LayerNorm的概念、作用、实现
BatchNorm、LayerNorm、InstanceNorm以及GroupNorm
zwplus的博客
04-04 3110
如果某个特征的值明显大于另一个特征，这会导致模型输出的结果对该特征变化变的十分敏感。
Layer normalization-方法篇一、Layer Norm 篇
最新发布
hh051020的博客
03-29 510
RMS Norm 简化了 Layer Norm ，去除掉计算均值进行平移的部分。对比LN，RMS Norm的计算速度更快。效果基本相当，甚至略有提升。BLOOM在embedding层后添加layer normalization，有利于提升训练稳定性:但可能会带来很大的性能损失。Deep Norm可以缓解爆炸式模型更新的问题，把模型更新限制在常数，使得模型训练过程更稳定。
大模型——理论基础——常用的Norm
fan_fan_feng的专栏
02-01 8811
这样的顺序对于训练更深的网络可能更稳定，因为归一化的输入可以帮助缓解训练过程中的梯度消失和梯度爆炸问题。比于LN，可以发现，不论是分母的方差和分子部分，都取消了均值计算，经作者在各种场景中实验发现，减少约 7%∼64% 的计算时间。通过上面三组实验，作者认为 Post-LN 的不稳定性部分来自于梯度消失以及初始化的时候，更新太大，陷入了局部最优，跑不出去了。都是根据模型的Encoder（N）和Decoder（M）层数计算出来的，通过如下方案，作者把模型的层数提升到了1000+。
深入理解layernorm在nlp中的含义和计算公式. 附带cv上ln的理解.
weixin_40467931的博客
03-11 709
import torch import torch.nn as nn from torch.nn import LayerNorm # NLP Example batch, sentence_length, embedding_dim = 2, 2, 3 embedding = torch.randn(batch, sentence_length, embedding_dim) layer_n...
深度学习模型组件-LayerNorm-层归一化（Layer Normalization, LayerNorm）
一名从Java开发工程师转型的人工智能研究生，致力于图像修复和图像超分领域的探索与研究。通过博客分享个人的学习心得、研究成果以及在人工智能应用中的实际经验，欢迎与同行交流。
03-05 2225
层归一化（Layer Normalization，简称 LayerNorm）是一种用于深度学习的归一化技术，由 Ba, Kiros, and Hinton在 2016 年提出。它的主要目的是解决批归一化（Batch Normalization, BN）在小批量（mini-batch）训练或循环神经网络（RNN）中的局限性。
pytorch LayerNorm参数详解，计算过程
热门推荐
weixin_39228381的博客
08-11 9万+
说明 LayerNorm中不会像BatchNorm那样跟踪统计全局的均值方差，因此train()和eval()对LayerNorm没有影响。 LayerNorm参数 torch.nn.LayerNorm( normalized_shape: Union[int, List[int], torch.Size], eps: float = 1e-05, elementwise_affine: bool = True) normalized_shape
自然语言处理(NLP)-模型常用技巧：Normalization【Batch Norm、Layer Norm】
u013250861的博客
07-31 1934
对于NLP中 Mask 的作用（ps：padding mask 和 sequence mask不是官方命名）： Padding mask：处理非定长序列，区分padding和非padding部分，如在RNN等模型和Attention机制中的应用等 Sequence mask：防止标签泄露，如：Transformer decoder中的mask矩阵，BERT中的[Mask]位，XLNet中的mask矩阵等 一、Padding Mask【处理非定长序列】 在NLP中，文本一般是不定长的，所以在进行 batc
自然语言处理: 第二十四章 为什么在NLP领域中普遍用LayerNorm 而不是BatchNorm？
victor_manches的博客
03-30 2336
前面讲了架构， 其中有一个层归一化layerNorm结构，最近在看不同的大模型结构中也发现会对其优化。但是似乎在CV领域貌似批次归一化BN层用的也很多，那么这两个归一化层到底有什么区别呢？为何在NLP领域几乎都是LN层，而不用BN层呢？一、What is Normalization？Normalization：规范化或标准化，就是把输入数据X，在输送给神经元之前先对其进行平移和伸缩变换，将X的分布规范化成在固定区间范围的标准分布。
[自然语言处理] Transformer-详解
2201_75415080的博客
12-03 759
输入部分包含:源文本嵌入层及其位置编码器目标文本嵌入层及其位置编码器编码器部分: * 由N个编码器层堆叠而成 * 每个编码器层由两个子层连接结构组成 * 第一个子层连接结构包括一个多头自注意力子层和规范化层以及一个残差连接 * 第二个子层连接结构包括一个前馈全连接子层和规范化层以及一个残差连接。
layer norm
08-25
- *1* *2* *3* [深入理解NLP中LayerNorm的原理以及LN的代码详解](https://blog.youkuaiyun.com/qq_43827595/article/details/121877901)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_...
Vision Transformer(ViT)原理详解 + 代码注释
LFM3320829529的博客
01-14 277
ViT（Vision Transformer）是Google在2020年提出的直接将Transformer应用在图像分类的模型，它证明了Transformer在视觉任务中的潜力。ViT通过将图像分割成若干固定大小的图块，并将每个图块视为一个序列输入到Transformer中进行处理。与传统的卷积神经网络不同，ViT摆脱了卷积操作，完全依赖自注意力机制来捕捉图像中的长距离依赖关系。
LayerNorm的理解
Jayn的专栏
04-30 1万+
LayerNorm计算公式： y=x−E(x)Var⁡(x)+ϵ∗γ+β y=\frac{x-E(x)}{\sqrt{\operatorname{Var}(x)+\epsilon}} * \gamma+\beta y=Var(x)+ϵ​x−E(x)​∗γ+β 一般有两种计算LayerNorm的方式，这两种方式的区别在与进行归一化操作的维度不同，假设输入的tensor维度为NxCxHxW,则两种计算方式分别如下： （1）计算一个batch中所有channel中所有参数的均值和方差，然后进行归一化，操作维度为C
2.6.4 LayerNorm网络原理及代码解释
weixin_71719718的博客
08-13 451
对3维图片的列进行归一化，注意：对于3通道的图片，每个元素是1X3维的值，相当于对img.shape[k,:](第k行)的所有元素求归一化。#Layer_Norm的归一化函数，normalized_shape表示图片的列数，即img.shape[1]1.BN是对于一个批次的很多样本（很多张图片）的列进行归一化处理，而LN是对每个样本（每张图片）的行进行归一化处理。# Layer_Norm的归一化，为了防止分母等于0，分母加了一个很小的大于0的值bias。#(x-u)的平方再求均值，类似x的方差。
小学生也能听得懂的大模型 - Transformer 1
2401_85325557的博客
07-29 1297
参考 [小学生也能听得懂的大模型 Transformer 1]
大模型面试-Layer normalization篇
weixin_51988935的博客
10-28 490
7.LN 在 LLMs 中的不同位置 有什么区别么？如果有，能介绍一下区别么？可以缓解爆炸式模型更新的问题，把模型更新限制在常数，使得模型训练过程更稳定。3. RMS Norm 相比于 Layer Norm 有什么特点？中的不同位置 有什么区别么？如果有，能介绍一下区别么？1. Layer Norm 的计算公式写一下？2. RMS Norm 的计算公式写一下？缺点：训练不稳定，可能会导致训练崩溃。，去除掉计算均值进行平移的部分。在深层的梯度范式逐渐增大，导致使用。在深层的梯度范式近似相等，所以使用。
Transformer中的layer norm(包含代码解释)
weixin_42596778的博客
12-07 2555
在transformer中存在add&norm操作，add操作很简单，就是把注意力矩阵和原来的矩阵相加，也就是残差链接，可以有效减少梯度消失。如下图所示，为layer norm的解释图，可以看出layer norm是针对一个token来做的归一化操作。通过输出上的对比我们发现了，使用torch来LN后的EM和我们手动来对Token进行LN的数值一样，说明了LN就是对Token来进行归一会操作的。具体的实现，我们来看下面这段代码，
评论 19
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

捡起一束光

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值