【深度学习】BatchNorm、LayerNorm

原创 已于 2024-05-14 11:14:15 修改 · 1.2w 阅读 · 100 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能

于 2024-04-14 23:18:53 首次发布
本文详细介绍了BatchNorm和LayerNorm两种归一化技术的概念、作用、计算过程以及在深度学习特别是NLP中的应用。BatchNorm主要针对通道维度归一化，适用于大batch_size和CV场景，而LayerNorm则针对样本或词向量尺度归一化，更适合NLP任务，如RNN和Transformer。

一、BatchNorm

1. 概念

对一个batch内的数据在通道尺度上计算均值和方差，将同批次同通道的数据归一化为均值为0、方差为1的正态分布，最后用对归一化后的数据进行缩放和平移来还原数据本身的分布。

上图展示了大小为[3,4,2,2]的tensor（批次大小为3，通道数为4，高为2，宽为2）的BatchNorm过程，该过程是针对训练数据的且无缩放和平移。可以看出，BatchNorm是对同一批次内同一通道的所有数据进行归一化。

在训练过程中，其计算过程如下：

其中， μ B \mu_{\mathcal{B}} μB​和 σ B 2 \sigma^2_{\mathcal{B}} σB2​分别为当前批次下同一通道所有数据的均值和有偏方差， ϵ \epsilon ϵ用来防止分母为0， γ \gamma γ和 β \beta β是可学习的参数（通道数为 C C C时，两个参数在当前特征层的总量为 2 × C 2\times C 2×C），用来进行仿射变换，即通过缩放和平移使数据处于更好的分布上。

由于测试过程需要稳定的输出，所以并不是按照批次计算均值和方差，而是使用整个训练样本的均值和方差（通常由滑动平均法计算），如下：

其中， V a r [ x ] Var[x] Var[x]指的是无偏方差，根据下式可以看出，将之前的有偏方差转为无偏方差乘上 m m − 1 \frac{m}{m-1} <

最低0.47元/天 解锁文章
BatchNorm & LayerNorm
撒旦先生的博客
07-10 989
很早以前就遇到了 BatchNorm 和 LayerNorm, 当时只是粗略地知道它们是对数据进行了标准化: x = (x−μ)/σ. 这当然很简单, 但实际的数据是比较复杂的. 对于 CV 任务的数据 image 而言, 一个 batch 的数据通常是这样的: [B, C, H, W]; 对于 NLP 任务的数据 sentence 而言, 一个 batch 的数据通常是这样的: [B, T, D]. 那 XXNorm 是怎么算的? 肯定不是一下算整个 batch 的所有数的.
LayerNorm层归一化
Kelly_Ai_Bai的博客
12-19 1万+
LayerNorm层归一化
Batch Norm批量归一化（含Pytorch代码实现）
最新发布
KO_TU的博客
10-17 627
Batch Norm是一种针对批量数据进行归一化的方法，在训练阶段，计算并维护数据的标准差和均值，并对其进行归一化（减去均值，除以标准差）；在深度学习中，归一化操作的目的是为了让每一层的计算结果保持在合适的范围内，避免某个层计算出的值太大导致对应的梯度太大而造成训练中的不稳定。从数学上来说，在每一层计算中，每一层看作一串数据，则数据的分布会在计算之中发生变化，而归一化的目的是保持分布的一致，使其分布稳定。均值，方差的计算都是在Channel上进行的，也就是说，γ，β是可学习的参数，是。
大模型——理论基础——常用的Norm
fan_fan_feng的专栏
02-01 9297
这样的顺序对于训练更深的网络可能更稳定，因为归一化的输入可以帮助缓解训练过程中的梯度消失和梯度爆炸问题。比于LN，可以发现，不论是分母的方差和分子部分，都取消了均值计算，经作者在各种场景中实验发现，减少约 7%∼64% 的计算时间。通过上面三组实验，作者认为 Post-LN 的不稳定性部分来自于梯度消失以及初始化的时候，更新太大，陷入了局部最优，跑不出去了。都是根据模型的Encoder（N）和Decoder（M）层数计算出来的，通过如下方案，作者把模型的层数提升到了1000+。
nn.LayerNorm的实现及原理
芒果干的博客
02-03 7万+
LayerNorm 在transformer中一般采用LayerNorm，LayerNorm也是归一化的一种方法，与BatchNorm不同的是它是对每单个batch进行的归一化，而batchnorm是对所有batch一起进行归一化的 y=x−E(x)Var(x)+ϵ∗γ+β y = \frac{x-E(x)}{\sqrt{Var(x)+\epsilon}}*\gamma+\beta y=Var(x)+ϵ​x−E(x)​∗γ+β nn.LayerNorm(normalized_shape, eps=1e-05
BatchNorm 与 LayerNorm
薛定谔的猫的博客
12-15 1995
今天重看Transformer，发现里面提到了BatchNorm和LayerNorm两种归一化方法，在这儿做一下总结和整理。
layerNorm和batchNorm
qq_19072921的博客
03-19 3689
layerNorm和batchNorm
深度学习基础之BatchNorm和LayerNorm
学习笔记
10-18 5813
batch norm适用于CV，因为计算机视觉喂入的数据都是像素点，可以说数据点与点之间是可以比较的，所以使用batch norm可以有比较好的效果，而NLP里，每个词的词向量是一组向量表示一个词，一个词向量割裂开来看是没有意义的，因此不同词向量里的数据点是不能混为一谈的，所以batch norm之后可能会使得词损失语义，效果就可能不好了，但是使用layer norm只是让各个词向量进行标准化，就能够有比较理想的效果了。
LayerNorm vs BatchNorm：深度学习中的归一化技术详解
qq_61817722的博客
09-18 1082
BatchNorm和LayerNorm是深度学习中两种核心归一化方法。BatchNorm在batch维度上归一化，适用于计算机视觉任务和大batch场景，但依赖batch大小且训练推理不一致。LayerNorm在特征维度上归一化，适合自然语言处理、小batch和变长序列，保持特征关系且训练推理一致。关键差异在于：BatchNorm保留样本间关系但破坏特征间关系，LayerNorm则相反。实际选择需考虑任务类型（CV优先BatchNorm，NLP优先LayerNorm）、数据特性和训练条件（小batch建议L
BatchNorm和LayerNorm的区别
scar2016的博客
02-28 4419
文章目录1. 说明2. 长度不一致问题 1. 说明 Batch Normalization 的处理对象是对一批样本， Layer Normalization 的处理对象是单个样本。Batch Normalization 是对这批样本的同一维度特征做归一化， Layer Normalization 是对这单个样本的所有维度特征做归一化 2. 长度不一致问题 当单个样本的长度不一致时，就需要用到layerNorm 如上图所示，当样本1,2，3之间出现长度不同的时候，我们就得用LayerNorm来处理这个问题
BatchNorm和LayerNorm
qq_34467412的博客
03-17 1万+
一、BatchNorm 论文：Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift 从论文名字就可以看出，BatchNorm技术是用来加速网络训练的，手段就是通过“Reducing Internal Covariate Shift（减小内部协变量偏移）”，什么叫做...
batch normalization 和 layer normalization 在RNN（LSTM、GRU）上的TensorFlow实现
04-19
batch normalization 和 layer normalization 在RNN（LSTM、GRU）上的TensorFlow实现;运行无误，示例为mnist手写体识别
BatchNorm与LayerNorm
qq_31941081的博客
05-31 484
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档。
BatchNorm和LayerNorm——通俗易懂的理解
WSLGN的博客
03-08 5万+
以通俗易懂的方式解释了BatchNorm和LayerNorm的原理，并指出它们的区别
Batch Norm 与 Layer Norm
weixin_40994552的博客
12-16 1214
Batch Normalization 对每个特征计算均值和方差，随后归一化。 Layer Normalization 对每个样本计算均值和方差，随后归一化。
PyTorch学习之归一化层（BatchNorm、LayerNorm、InstanceNorm、GroupNorm）
热门推荐
mingo_敏
12-18 11万+
BN，LN，IN，GN从学术化上解释差异： BatchNorm：batch方向做归一化，算NHW的均值 LayerNorm：channel方向做归一化，算CHW的均值 InstanceNorm：一个channel内做归一化，算H*W的均值 GroupNorm：将channel方向分group，然后每个group内做归一化，算(C//G)HW的均值 ...
BatchNorm 与 LayerNorm：原理、实现与应用对比
主攻大数据 人工智能 物联网 安全 低空经济等方向。mtsc 、gtest特邀分享嘉宾
07-12 805
Batch Normalization (批归一化) 和 Layer Normalization (层归一化) 是深度学习中两种核心的归一化技术，它们解决了神经网络训练中的问题，大幅提升了模型训练的稳定性和收敛速度。
BatchNorm和LayerNorm的比较
qq_42178122的博客
05-26 6800
BatchNorm：batch方向做归一化，算NHW的均值，对小batchsize效果不好；BN主要缺点是对batchsize的大小比较敏感，由于每次计算均值和方差是在一个batch上，所以如果batchsize太小，则计算的均值、方差不足以代表整个数据分布 LayerNorm：channel方向做归一化，算CHW的均值，主要对RNN作用明显； batch normalization对一个神经元的batch所有样本进行标准化，layer normalization对一个样本同一层所有神经元进行标准化，前者
BatchNorm LayerNorm InstranceNorm GroupNorm
03-25
### 不同归一化方法的核心区别 #### Batch Normalization (BatchNorm) Batch Normalization 是一种通过减少内部协变量偏移来加速深度网络训练的技术。它通过对每一批次的小批量数据计算均值和方差来进行归一化操作[^1]。具体来说，BatchNorm 对每一层的激活值进行标准化处理，使得其具有零均值和单位方差。为了保持模型表达能力不受影响，BatchNorm 还引入了可学习参数 γ 和 β 来执行 scale 和 shift 操作[^2]。 优点： - 减少梯度消失/爆炸问题。 - 加速收敛速度。 缺点： - 需要较大的 mini-batch 大小才能获得稳定的统计量。 - 推理阶段需要额外存储训练期间的全局均值和方差。 适用场景： - 主要用于卷积神经网络（CNNs），尤其是当 batch size 较大时效果最佳。 --- #### Layer Normalization (LayerNorm) Layer Normalization 的设计目标是在序列建模任务中克服 BatchNorm 的局限性。与 BatchNorm 不同的是，LayerNorm 计算同一样本内所有特征维度上的均值和标准差，并对其进行归一化[^4]。这意味着即使在一个批次只有一个样例的情况下也能正常工作。 优点： - 不依赖于 mini-batch 统计信息，在较小或单一实例上表现良好。 - 更适合 RNN/LSTM 等结构中的长期依赖关系捕捉。 缺点： - 可能会忽略跨样本之间的交互特性。 适用场景： - 自然语言处理领域内的 Transformer 架构通常采用 LayerNorm，特别是在长上下文中。 --- #### Instance Normalization (InstanceNorm) Instance Normalization 类似于 LayerNorm，但它针对图像风格迁移等领域进行了优化。InstanceNorm 将每个通道视为独立单元并分别对其应用归一化过程；即对于单张图片而言，它是逐像素地基于该位置处各颜色分量单独调整尺度因子[^3]。 优点： - 特别适用于生成对抗网络(GAN)，有助于分离内容与样式特征。 - 能够更好地保留局部纹理细节。 缺点： - 如果输入包含过多噪声，则可能导致不稳定的结果。 适用场景： - 图像生成任务如 CycleGAN 或 Style Transfer 中广泛运用。 --- #### Group Normalization (GroupNorm) Group Normalization 提出了另一种折衷方案——将通道划分为若干组并对每组实施类似于 InstanceNorm 的方式完成规范化流程[^5]。这种方法既避免了对大批量的需求又兼顾到了多维空间的信息融合需求。 优点： - 在极端情况下(比如非常低分辨率或者高宽比失衡的数据集),仍然可以维持较好的性能. - 结合了其他三种技术的优点. 缺点： - 参数调节较为复杂,需手动设定合适的分组数目. 适用场景： - COCO 数据集中的人体姿态估计等视觉识别挑战赛项目里表现出色. ```python import torch.nn as nn # Example usage of different normalization layers in PyTorch batch_norm = nn.BatchNorm2d(num_features=64) # For CNN with large batches layer_norm = nn.LayerNorm(normalized_shape=(64)) # Suitable for NLP tasks like Transformers instance_norm = nn.InstanceNorm2d(num_features=64)# Ideal for GAN-based image generation models group_norm = nn.GroupNorm(num_groups=8, num_channels=64) # Balanced approach combining benefits across domains ```
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Fulin_Gao

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值