神经网络正则化之BN/LN/GN的原理

最新推荐文章于 2024-02-13 22:33:15 发布
原创 最新推荐文章于 2024-02-13 22:33:15 发布 · 1.1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#神经网络 #人工智能 #批正则化 #BN层 #GN层

BN层用于加速训练，防止梯度消失，通过拉回激活值分布至标准正态分布。γ和β用于保持层间信息。LayerNorm沿通道维度归一化，而InstanceNorm针对每个样本的通道单独计算。GroupNorm介于两者之间，按通道分组归一化，提供更好的灵活性。

1. BN层原理

torch.nn.BatchNorm2d(num_features, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True,device=None,dtype=None)

  • 为什么用BN?
    加速训练。之前训练慢是因为在训练过程中，整体分布逐渐往非线性函数的取值区间的上下限端靠近(参考sigmoid函数，大的正值或负值)，链式求导导致低层的神经网络梯度消失。BN就是将越来越偏的分布强行拉回(标准)正态分布,使得激活值落在非线性函数对输入比较敏感的区域，这样输入小的变化就会导致损失函数较大变化，让梯度变大，避免梯度消失问题。

  • 为什么要给BN的分布乘以可学习参数γ\gammaγ和β\betaβ?
    如果强行归一化为标准正态分布，则之前该层学习到的分布也丢失信息。引入这两个重构参数，来使得我们的网络中可以学习恢复出原始网络要学习的特征分布.

  • 公式(torch):
    y=x−E[x]Var[x]+ϵ×γ+β y = \frac{x-E[x]}{\sqrt{Var[x]+\epsilon}}\times \gamma + \beta y=Var[x]+ϵ ​x−E[x]​×γ+β
    在这里插入图片描述

  • 反向传播.
    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-k6uCO3wH-1689670017182)(:/b9265fb96a1348ee97121a7aba9a92be)]

  • 均值和方差是在mini-batch的每一个维度上分别计算的

  • 因为是再CC

最低0.47元/天 解锁文章
BN的作用原理（BN、LN、IN和GN）
Billie使劲学的博客
06-28 2808
目录为什么引入BN？BN的作用原理BN的作用 BN的不足BN、LN、IN和GN之间的区别参考为加速网络的训练，在图像预处理时，我们就后对图像进行标准化操作，即image normalization，是的每张图片都能服从u均值σ标准差的分布。但是当图片输如到神经网络后，每经过一次卷积，数据就不会再服从该分布，这种现象叫做ICS（Internal Covariate Shift，内部协变量偏移），该现象会使输入分布变化，导致模型的训练困难，对深度神经网络影响极大，如左图所示，数据分布不统一，深层网络就需要去适应
深度学习归一化算法详解(BN,LN,IN,GN)
slamer111的博客
09-15 2996
深度学习归一化算法
BN算法（Batch Normalization）的原理和作用
我是天才很好
04-16 1万+
文章目录一、BN算法概念二、Covariate Shift问题三、BN算法产生的背景四、BN算法的实现和优点4.1 BN算法的实现4.2 BN算法在网络中的作用五、参考文献 一、BN算法概念 传统的神经网络，只是在将样本x输入到输入层之前对x进行标准化处理，以降低样本间的差异性。BN是在此基础上，不仅仅只对输入层的输入数据x进行标准化，还对每个隐藏层的输入进行标准化。 （那为什么需要对每个隐藏层...
BN在CNN和RNN中的应用
William Zhao's notes
08-04 1906
Batch Normalization的基本思路和价值在之前一篇文章“Batch Normalization导读”介绍了，此处不赘述，背景知识请参考上面文章。看到BN后，很明显能够看到这等于往传统的神经网络中增加了一个BN层，而且位置处于神经元非线性变换前，基本大多数网络结构都能很自然地融合进去，于是很自然的想法就是：如果用在CNN或者RNN效果会如何？是否也会增加收敛速度以及模型分类性能？CNN...
神经网络常见归一化操作总结（BN、LN、IN、SN）
ShiTianlei的博客
04-18 2123
BN（Batch Normalization）、LN（Layer Normalization）和IN（Instance Normalization）与SN（Spectral Normalization）都是归一化方法，但它们的作用对象和计算方式略有不同。
BN层原理解析
热门推荐
朗云星空
04-10 3万+
前几天看了BN的那篇经典论文《《Batch Normalization_ Accelerating Deep Network Training by Reducing Internal Covariate Shift》，心中留有很多疑惑，今天大概弄明白了，这里记录一下。1 训练数据为什么要和测试数据同分布？看看下图，如果我们的网络在左上角的数据训练的，已经找到了两者的分隔面w，如果测试数据是右下角...
BN（多种角度）,IN,LN,GN 的原理，公式，以及反向传播的推倒及代码
justsolow的博客
05-16 3083
batchnormalization（BN） 的原理，公式，以及反向传播的推倒及代码 (参考自https://mp.weixin.qq.com/s?__biz=MzA4MjY4NTk0NQ==&mid=2247484478&idx=1&sn=10012618cc60f180c5e4fa1ef52d8d00&chksm=9f80bea8a8f737be7e2e3a2374731bcf89ac25238fcdf35fc6dde3157a12333b8c2864c568a2&amp
神经网络搭建（一、正则化）
jiangchao98的博客
09-24 2867
神经网络中的正则化层 神经网络中的正则化层 在神经网络的搭建中，正则化层非常重要，包括BN、LN、IN和GN等。正则化层一般应用在卷积层或者全连接层之后，在激活函数层之前。正则化层稳定了深层网络的训练。 正则化用来解决函数过拟合的问题。为了防止过拟合。我们需要让损失函数和正则化项最小。满足两者最小，可以尝试让损失函数和正则化项的和较小。 L1正则化， 所有特征绝对值之和，记为。 L2正则化，通常意义上的模，记为。 L1正则化具备稀疏性。L2正则化可以很好的解决过拟合问题。拟合过程通常都倾
Pytorch系列之——正则化
Despacito1006的博客
09-08 2432
正则化之weight decay 正则化与偏差-方差分解 pytorch中的L2正则化——weight decay 在机器学习、深度学习当中我们经常会听到regularization正则化这个概念，正则化这三个字到底是什么意思呢？如果直接从字面的意思来理解正则化是非常抽象的，但正则化的概念非常简单，就是减少方差的策略。那么什么是方差，什么是偏差呢？ 误差可分解为：偏差、方差与噪声之和。即误差=偏差+方差+噪声之和，偏差度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力； 方差度
BN 层架构设计原理与实践
AI天才研究院
01-07 776
1.背景介绍 人工智能(Artificial Intelligence, AI)是一门研究如何让计算机模拟人类智能的学科。在过去的几十年里，人工智能研究者们一直在寻找一种方法来实现这一目标。最近，一种名为“深度学习”(Deep Learning)的技术在许多人工智能任务中取得了显著的成功，例如图像识别、语音识别、自然语言处理等。深度学习的核心技术是神经网络(Neural Network)，这些神...
深度学习 BN（Batch Normalization）层的原理介绍
qq_36767053的博客
07-06 700
       总结：Batch Normalization的引入主要还是为了解决“Internal Covariate Shift”数据分布的改变问题。随着网络深度加深或者在训练过程中，其分布逐渐发生偏移或者变动，之所以训练收敛慢，一般是整体分布逐渐往非线性函数的取值区间的上下限两端靠近。所以这导致反向传播时低层神经网络的梯度消失，这是训练深层神经网络收敛越来越慢的本质原因，而BN就是通过一定的规范化手段，把每层神经网络任意神经元这个..
【基础知识】---BN层相关原理详解
All_In_gzx_cc的博客
01-30 1341
1 训练数据为什么要和测试数据同分布？ 看看下图，如果我们的网络在左上角的数据训练的，已经找到了两者的分隔面w，如果测试数据是右下角这样子，跟训练数据完全不在同一个分布上面，你觉得泛化能力能好吗？ 2 为什么白化训练数据能够加速训练进程 如下图，训练数据如果分布在右上角，我们在初始化网络参数w和b的时候，可能得到的分界面是左下角那些线，需要经过训练不断调整才能得到穿过数据点的分界面，这个就使训练过程变慢了；如果我们将数据白化后，均值为0，方差为1，各个维度数据去相关，得到的数据点就是坐标上的一个圆形
【笔记】BN（Batch Normalization）、正则化:BN是在同一批次中逐个的计算同一channel的均值，方差，来进行归一化；正则化作用是 损失精度去调整样本的不足产生的拟合
nyist_yangguang的博客
07-13 994
还是希望大家带着批判的眼光看问题，有的人说L0不是范数。 BN：其能一定程度的起到正则化作用，几乎代替Dropout 注意可训练参数的维度 等于 批次内 每一个张量的 channels。 如果是R、G、B图像，维度就是3。也就是每一个channel都需要一个，所以它俩各是1 X 3的列向量。 正则化： ...
神经网络：正则化
吃葡萄不吐葡萄皮
06-21 5641
通过在损失函数中添加正则化项，可以限制模型参数的取值范围，使其偏好较小的权重值，从而达到控制模型复杂度的目的。正则化在计算机视觉中的作用是控制模型的复杂度，减少过拟合，提高模型的泛化能力。w)为模型的预测输出，w为模型参数，λ为正则化系数，||w||2为L2范数。正则化通过在损失函数中添加额外的正则化项，惩罚参数较大的取值，减少模型对训练数据中噪声和异常样本的过拟合现象，提高模型的鲁棒性。正则化可以限制模型参数的取值范围，减少模型的复杂度，从而简化模型的结构。常见的正则化项包括L1正则化和L2正则化。
5、BN层的作用及原理？
微信号：Custom-Software
06-03 7856
Normalization是数据标准化（归一化，规范化），Batch 可以理解为批量，加起来就是批量标准化。在CNN中，Batch就是训练网络所设定的图片数量batch_size。 作用（归一化至：均值0、方差为1）： （1）加速网络收敛速度，可以使用较大的学习率来训练网络 （2）改善梯度弥散 （3）提高网络的泛化能力 （4）BN层一般用在线性层和卷积层后面，而不是放在非线性单元后 因为非线性单元的输出分布形状会在训练过程中变化，归一化无法消除他的方差偏移，相反的，全连接和卷积层的输出一般是一个
【深度学习基础知识 - 07】BN的原理和作用
yanyuxiangtoday的博客
08-18 9900
Batch Normalization也是深度学习中的一个高频词汇，这篇文章将会对其做一个简单介绍。 目录1. BN的原理2. BN的作用3. BN层的可学习参数4. infer时BN的处理5. BN的具体计算步骤以及公式6. BN和L2参数权重正则化的区别 1. BN的原理 BN就是在激活函数接收输入之前对数据分布进行规范化，具体计算就是去均值归一化，将数据的分布都规范到标准正态分布中，使得激活函数的输入值落在函数较为敏感的区域，也即梯度较大的区域，从而避免梯度消失、减少训练时间。因此，BN也通常需要放
深度总结4--BN算法原理
weixin_40380201的博客
04-07 1457
1.什么是BN 2.为什么BN算法可以解决梯度消失与梯度爆炸的问题 3.Batch Normalization和Group Normalization的比较 4.Batch Normalization在什么时候用比较合适？ 一、什么是BN？ Batch Normalization是2015年一篇论文中提出的数据归一化方法，往往用在深度神经网络中激活层之前。其作用可以加快模型训练时的收敛速度，使得模...
机器学习：BN层介绍及深入理解
最新发布
全网粉丝10w+，优快云、稀土掘金人工智能签约作者、专家博主，华为云十佳博主，985人工智能硕士。人工智能、大模型、计算机视觉、Python 爬虫— —商务合作：https://bbs.youkuaiyun.com/topics/614347534
02-13 3859
BN在深度网络训练过程中是非常好用的trick，在笔试中也很常考，而之前只是大概知道它的作用，很多细节并不清楚，因此希望用这篇文章彻底解决揭开BN的面纱。
【剑指offer】BN层详解
不兼容旧版本
03-31 3309
BN层可以加速神经网络的收敛速度。减小模型对初始参数的依赖性，提高模型的鲁棒性。可以防止梯度消失和梯度爆炸的问题，有助于提高模型的稳定性。可以减少模型过拟合的风险，提高模型的泛化能力。总之，BN层是一种常用的正则化方法，可以有效地提高神经网络的训练速度和泛化能力。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值