归一化方法 BN、LN、IN、GN、SN

已于 2022-05-03 23:57:39 修改
阅读量3k 收藏 22
点赞数 2
分类专栏： 深度学习 机器学习 文章标签： 机器学习
于 2022-04-25 14:37:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_39910711/article/details/124403863
版权
本文深入探讨了神经网络中的归一化技术，包括Batch Normalization (BN)、Layer Normalization (LN)和Instance Normalization (IN)。BN在训练时基于批次数据计算均值和方差，而在预测时使用训练期间估算的整体均值和方差。LN则对单个样本的所有维度进行归一化，适合NLP任务。IN关注单个实例的每个维度，常用于风格迁移。文章强调了在机器学习和自然语言处理中选择不同归一化方法的原因，并分析了它们的优缺点和适用场景。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

1 概念

2 Batch Normalization

2.1 介绍

2.2 Batch Normalization在训练和预测时候有什么区别呢？

3 图解

4 公式 

5 Batch normalization和Layer normalization有什么区别？ 

5.1 为什么ML中用BN比较多？

5.1.1 ML & batch normalization

5.1.2 ML & layer normalization

5.1.3 Why ML&BN?

5.2 为什么NLP中用LN比较多？

5.2.1 NLP & batch normalization

5.2.2 NLP & layer normalization

5.3 根本原因

5.4 总结

1 概念

     

        在介绍各个算法之前，我们先引进一个问题：为什么要做归一化处理？

        神经网络学习过程的本质就是为了学习数据分布，如果我们没有做归一化处理，那么每一批次训练数据的分布不一样，从大的方向上看，神经网络则需要在这多个分布中找到平衡点；从小的方向上看，由于每层网络输入数据分布在不断变化，这也会导致每层网络在找平衡点，显然，神经网络就很难收敛了。

        当然，如果我们只是对输入的数据进行归一化处理（比如将输入的图像除以255，将其归到0到1之间），只能保证输入层数据分布是一样的，并不能保证每层网络输入数据分布是一样的，所以也需要在神经网络的中间层加入归一化处理。

2 Batch Normalization

2.1 介绍

28 批量归一化【动手学深度学习v2】_哔哩哔哩_bilibili

     

 

如果想用BN来控制模型复杂度，就没必要跟丢弃法混合使用。

2.2 Batch Normalization在训练和预测时候有什么区别呢？

        BN，batch normalization，是对数据的规范化，使每层的数据输入都保持在相近的范围内。

        BN和核心计算公式： 

        

        其实是一个均值  、方差  的标准分布。

        在训练时，由于是一个batch一个batch的给模型投喂数据，模型只能计算当前batch的均值和方差，当所有的batch都投喂完成，模型对每个batch上的均值和方差做指数平均，来得到整个样本上的均值和方差的近似值。

        在预测时，一般不必要去计算的均值和方差，比如测试仅对单样本输入进行测试时，这时去计算单样本输入的均值和方差是完全没有意义的。因此会直接拿训练过程中对整个样本空间估算的均值和方差直接来用。

3 图解

        在输入图片的维度为（NCHW）中，HW是被合成一个维度，这个是方便画出示意图，C和N各占一个维度。

Batch Normalization：

  1. BN的计算就是把每个通道的NHW单独拿出来归一化处理
  2. 针对每个channel我们都有一组γ,β，所以可学习的参数为2*C
  3. 当batch size越小，BN的表现效果也越不好，因为计算过程中所得到的均值和方差不能代表全局

Layer Normalizaiton：

  1. LN的计算就是把每个CHW单独拿出来归一化处理，不受batchsize 的影响
  2. 常用在RNN网络，但如果输入的特征区别很大，那么就不建议使用它做归一化处理

Instance Normalization：

  1. IN的计算就是把每个HW单独拿出来归一化处理，不受通道和batchsize 的影响
  2. 常用在风格化迁移，但如果特征图可以用到通道之间的相关性，那么就不建议使用它做归一化处理

Group Normalization：

  1. GN的计算就是把先把通道C分成G组，然后把每个gHW单独拿出来归一化处理，最后把G组归一化之后的数据合并成CHW
  2. GN介于LN和IN之间，当然可以说LN和IN就是GN的特列，比如G的大小为1或者为C

Switchable Normalization：

  1. 将 BN、LN、IN 结合，赋予权重，让网络自己去学习归一化层应该使用什么方法
  2. 集万千宠爱于一身，但训练复杂

4 公式 

        BN、LN、IN和GN这四个归一化的计算流程几乎是一样的，可以分为四步：

      1.计算出均值

      2.计算出方差

      3.归一化处理到均值为0，方差为1

      4.变化重构，恢复出这一层网络所要学到的分布

             

        训练的时候，是根据输入的每一批数据来计算均值和方差，那么测试的时候，平均值和方差是怎么来的？

        对于均值来说直接计算所有训练时batch 均值的平均值；然后对于标准偏差采用每个batch 方差的无偏估计。

5 Batch normalization和Layer normalization有什么区别？ 

        ML、CV里常用Batch Normalization，NLP里常用Layer Normalization。

5.1 为什么ML中用BN比较多？

            

        现在有一个batch内的人员特征数据，分别是年龄、身高和体重，我们需要根据这3个特征进行性别预测，在预测之前首先要进行归一化处理。

5.1.1 ML & batch normalization

    BN是针对每一列特征进行归一化，例如下图中计算的均值：

        

    BN这是一种“列归一化”，同一batch内的数据的同一纬度做归一化，因此有3个维度就有3个均值。

5.1.2 ML & layer normalization

        而LN则相反，它是针对数据的每一行进行归一化。即只看一条数据，算出这条数据所有特征的均值，例如下图：

     LN是一种“行归一化”,是对单个样本的所有维度来做归一化。 

5.1.3 Why ML&BN?

        这里大家就可以看出，LN计算出一个人的年龄、身高、体重这三个特征的均值并对其归一化，完全没有道理和可解释性，但是BN则没有这个影响，因为每列的单位属性都是相同的。

        在机器学习任务中，数据往往是每列数据为一特征，处理的数据通常具有解释性，而列与列之间的单位属性并不相同，所以机器学习任务中用BN比较多。

5.2 为什么NLP中用LN比较多？

        上图是4条文本数据组成了一个batch，我们假设每个字的embedding都为1。

5.2.1 NLP & batch normalization

        那么BN是针对每一列特征进行归一化，就会把4条文本相同位置的字来做归一化处理，例如：我、我、领、拥。

        而这样做的话就破坏了一个字在原句中的原有含义。 

5.2.2 NLP & layer normalization

       而LN则是针对每一句话做归一化处理。

​​​​​​​

       在归一化后使一句话中的embedding处于同分布。

5.3 根本原因

        在ML中输入的数据一般是矩阵，每列数据都具有相同属性，所以使用BN较多。

        在NLP中，因为数据维度一般都是[batch_size, seq_len, dim_size]，我们最终希望将一句话中的词向量进行归一化，所以使用LN较多。

5.4 总结

        从操作过程上来讲，BN针对的是同一个batch内的所有数据，而LN则是针对单个样本。

        从特征维度来说，BN对同一batch内的数据的同一纬度做归一化，因此有多少维度就有多少个均值和方差；而LN则是对单个样本的所有维度来做归一化，因此一个batch中就有batch_size个均值和方差。

深度学习加速策略BN、WN和LN的联系与区别，各自的优缺点和适用的场景？ - 知乎

1. Batch Normalization，其论文：https://arxiv.org/pdf/1502.03167.pdf

2. Layer Normalizaiton，其论文：https://arxiv.org/pdf/1607.06450v1.pdf

3. Instance Normalization，其论文：https://arxiv.org/pdf/1607.08022.pdf

4. Group Normalization，其论文：https://arxiv.org/pdf/1803.08494.pdf

5. Switchable Normalization，其论文：https://arxiv.org/pdf/1806.10779.pdf
 

深度学习中的五种归一化（BN、LN、IN、GN和SN)
sdw8855的博客
08-31 2176
局部响应归一化（Local Response Normalization, 即LRN）首次提出于AlexNet。LRN的创意来源于神经生物学的侧抑制，被激活的神经元会抑制相邻的神经元。用一句话来形容LRN：让响应值大的feature map变得更大，让响应值小的变得更小。 其主要思想在于让不同卷积核产生feature map之间的相关性更小，以实现不同通道上的feature map专注于不同的特征的作用，例如A特征在一通道上更显著，B特征在另一通道上更显著。 神经网络学习过程的本质就是为了学习数据分布，
pytorch笔记（一）归一化 BN、LN、IN、GN、SN
_yuki_
08-05 1714
概念： Batch Normalization (BN):在batch上，对NHW做归一化，对小batchsize效果不好 Layer Normalization (LN):在通道方向上，对CHW归一化，主要对RNN作用明显 Instance Normalization (IN):在图像像素上，对HW做归一化，用在风格化迁移 Group Normalization (GN):将channel分组，然后再做归一化 Switchable Normalization (SN):将BN、LN、IN结合，赋
深度学习中的归一化方法总结（BN、LN、IN、GN、SN、PN、BGN、CBN、FRN、SaBN）
u011447962的博客
06-08 1万+
训练深度网络时，神经网络隐层参数更新会导致网络输出层输出数据的分布发生变化，而且随着层数的增加，根据链式规则，这种偏移现象会逐渐被放大。这对于网络参数学习来说是个问题：因为神经网络本质学习的就是数据分布（representation learning），如果数据分布变化了，神经网络又不得不学习新的分布。为保证网络参数训练的稳定性和收敛性，往往需要选择比较小的学习速率（learning rate），同时参数初始化的好坏也明显影响训练出的模型精度，特别是在训练具有饱和非线性（死区特性）的网络。...
关于归一化BN IN LN GN相关梳理
TranSad的博客
04-07 2180
原来写过BN(Batch-Normal)在全连接层当中的使用。在更多情况下，我们处理图像的特征图、特征层时也会用到归一化操作，其中就包括BN，也包括LN，IN以及它们的变式等。这篇来整理一下在卷积池化过程当中，对于特征图feature map的各类归一化方法。 关于BN的具体计算公式、优势和特点之类的还是参考上篇写过的（BN批量归一化操作_TranSad的博客-优快云博客_bn批量归一化），这篇我还是侧重于整理不同归一化方法在特征图上的计算方式——也就是每个方法到底是归一化哪部分，归一化时特征图...
【归一化总结】BatchNorm（BN）、InstanceNorm（IN）、LayerNorm（LN） 和 GroupNorm（GN）
最新发布
weixin_44212848的博客
03-26 1239
AdaLN-Zero 是 AdaLN 的变体，最关键的区别在于初始化策略。为了更好地适应条件输入，AdaLN-Zero 的参数在初始化时设置为零，使得初始状态下归一化效果接近原始 LayerNorm。Batch Normalization 基于 mini-batch 的统计信息（均值和方差）对输入特征进行归一化。Instance Normalization 对每个样本的每个通道分别计算均值和方差进行归一化。的扩展，用于动态调整归一化后的特征分布。的扩展，通过条件输入动态调整归一化参数。
BN和 LN
tangweirensheng的博客
10-13 323
[batch_size, length, feature] BN不同length，对同一 batch_size和 feature的归一化 ,即 [batch_size, 1, feature]做归一化,会有length个输出 LN，不同batch_size ，对同一个lengh和feature的归一化，即[ 1, lenght, feature]做归一化，共有 batch_size个输出，所以不受 batch_size的影响 对于一个batch为32的神经网络训练，会有32个均值和...
图解——深度学习中数据归一化（BN,LN,IN,SN）
Mr_DaYang的博客
10-08 3407
简介 BN（Batch Normalization）于2015年由 Google 提出，开创了Normalization 先河；2016年出了LN（layer normalization）和IN（Instance Normalization）；2018年提出了GN（Group normalization）和SN（Switchable Normalization）。 独立同分布（i.i.d） 机器学习领域有个很重要的假设：IID独立同分布假设，就是假设训练数据和测试数据是满足相同分布，这样才能保证通过训练数
BN与LN归一化
M_arshal_的博客
10-25 291
d：特征 b：batch_size将多少数据打包 len：长度 BN就是取出一个特征（所有样本的一个特征），对其进行归一化，直到取完全部特征。 LN就是取出所有的batch，取出每个batch中的一个样本进行归一化。 ...
深度学习中的归一化方法简介（BN、LN、IN、GN）
firehuiplane的博客
05-31 3037
文章目录1. 协方差偏移 1. 协方差偏移 协方差偏移： 深度网络内部数据分布在训练过程中发生变化的现象。 协方差偏移的影响： 训练深度网络的时候，神经网络隐藏层参数更新会导致网络输出层输出数据的分布发生变化，如果不做归一化，那么每层网络输入的数据分布都是不同的。随着层数的增加，根据链式法则，这种偏移现象会逐渐被放大。这对于网络参数的学习来说是一个问题，因为神经网络本质就是学习数据分布，如果数据分布变化了，神经网络不得不学习新的分布。为了保证网络参数的稳定性和收敛性，往往会选择比较小的学习率，同时参数初始化
BN LN IN GN归一化操作的差异性
qq_28013751的博客
09-12 338
论文基础： 1.简述 1.1 论文链接 (1)、Batch Normalization 2015 https://arxiv.org/pdf/1502.03167.pdf (2)、Layer Normalizaiton 2016 https://arxiv.org/pdf/1607.06450v1.pdf (3)、Instance Normalization 2017 https:...
LN，IN，GN，SN归一化原理详解
m0_51700479的博客
01-27 1297
在Layer Normalization中， 是针对不同样本计算当前样本的所有神经元的均值和方差， 也就是说在LN中， 同层神经元输入拥有相同的均值和方差， 不同的输入样本具有不同的均值和方差；而在BN中， 同层的不同神经元输入的是不同的均值和方差， 而同一个batch中的所有样本拥有相同的方差和均值上述是类似全连接的时候，下面是有通道的时候BN的是对不同样本的同一个通道的每个位置分别计算均值和方差，并用这些统计量对该位置上的值进行归一化而LN具体的计算方式是。
归一化总结：BN、LN、IN、GN、SN
weixin_47748259的博客
03-28 4003
在机器学习领域中，不同评价指标（即一组特征中的不同特征就是所述的不同评价指标）往往具有不同的量纲和量纲单位，这样的情况会影响到数据分析的结果，为了消除指标之间的量纲影响，需要进行数据标准化处理，以解决数据指标之间的可比性。即，原始数据经过数据标准化处理后，各指标处于同一数量级，适合进行综合对比评价。数据归一化一般有[0,1]归一化和正态分布归一化两种方法：[0,1]归一化：使结果值映射到[0，1]之间。
（简洁）深度学习中的五种归一化（BN、LN、IN、GN和SN）
qq_43703185的博客
08-26 961
原文链接：https://blog.youkuaiyun.com/u013289254/article/details/99690730 一. 本文的内容包括：     1. Batch Normalization，其论文：https://arxiv.org/pdf/1502.03167.pdf   &nbs
手推公式之“层归一化”梯度
算法码上来
05-23 438
昨天推导了一下交叉熵的反向传播梯度，今天再来推导一下层归一化（LayerNorm），这是一种常见的归一化方法。前向传播假设待归一化的维向量为，均值和标准差分别是和，LayerNorm的参数是和，那么层归一化后的输出为：这里的极小量是为了防止标准差为0导致溢出。为了简单起见，我们不加上这一项，原公式也就变成了：反向传播假设损失函数对输出的梯度是，那么这里需要求三个梯度：、和。令，那么原公式就变成了：...
四种归一化方法BN，LN，IN，GN的比较
qq_40268255的博客
02-04 2747
1.计算方法的不同 BatchNorm：batch方向做归一化，算NHW的均值 LayerNorm：channel方向做归一化，算CHW的均值。为了能够在只有当前一个训练实例下，找到一个合理的统计范围，一个直接的想法是：把同一个卷积层作为集合，求均值和方差；对于RNN，就是把同层隐层神经元的响应值（不同时刻）作为集合，再求均值和方差。 InstanceNorm：一个channel内做归一化，算H*...
归一化方法：BN/LN/IN/GN/FN
热门推荐
Man
04-23 2万+
一、批量标准化(BN，Batch Normalization) 1、BN 简介 a、协变量偏移问题 我们知道，在统计机器学习中算法中，一个常见的问题是协变量偏移(Covariate Shift)，协变量可以看作是输入变量。一般的深度神经网络都要求输入变量在训练数据和测试数据上的分布是相似的，这是通过训练数据获得的模型能够在测试集获得好的效果的一个基本保障。 传统的深度神经网络在训练...
给一个向量进行归一化
AimAtFuture的专栏
07-12 6239
function [BACK] = normalizeVectorToOne(V) %param          V 表示一个向量 1*n OR n*1 %return         BACK 返回归一化以后的向量 1*n [H L] = size(V); if 1~=H     V = V';     [H L] = size(V); end BACK = zeros
深度学习中的归一化方法总结(BN、LN、IN、GN)
buchidanhuang的博客
08-16 9214
  一般在神经网络中会用到数据的归一化，比如在卷积层后进行归一化然后再下采样然后再激活等。目前比较受欢迎的数据归一化层有：BN(BatchNormalization)，LN(LayerNormalization)，IN(InstanceNormalization)，GN(GroupNormalization)这4种。本篇文章主要是对比一下它们各自是怎么计算的。   先看对数据的归一化是这么操作的。...
算法笔记(一)归一化之BN LN IN
sleepinghm的博客
08-30 775
前言 规一化的作用: 调整数据分布,增加网络泛化度. 若每批数据分布不同,神经网络需要不断调整模型权重去适应不同的数据分布,因此可以增加训练速度 缓解Internal Covariate Shift问题,将数据分布拉到激活函数的非饱和区,具有权重/数据伸缩不变性的特点. 起到缓解梯度消失/爆炸,加速训练,正则化的效果. 内部协变量转移internal convarite shift: 简设模型函数 y=f(θ,x)y=f(\theta,x)y=f(θ,x),训练时,每层网络的输入数据分布会不断变化
深度学习中的归一化方法总结和比较（BN、LN、IN、GN、SN、PN、BGN、CBN、FRN、SaBN）
03-15
### 不同深度学习归一化方法的特点及对比 #### 批量归一化 (Batch Normalization, BN) 批量归一化是一种广泛应用于卷积神经网络的技术，它通过对每一批数据进行标准化来减少内部协变量偏移。这种方法在大、中批处理...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值