深度学习基础--正则化与norm--Switchable Normalization

最新推荐文章于 2025-06-05 07:00:00 发布
原创 最新推荐文章于 2025-06-05 07:00:00 发布 · 504 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

港中文团队提出SN（SwitchableNormalization），一种新的归一化技术，它解决了BN（Batch Normalization）的不足，并在ImageNet和Microsoft COCO数据集上的表现超越了GN（Group Normalization）。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Switchable Normalization

  BN 是 Google 在 2015 年提出的归一化方法。至今已有 5000+次引用，在学术界和工业界均被广泛使用。
  港中文团队提出的 SN（Switchable Normalization）解决了 BN 的不足。SN 在 ImageNet 大规模图像识别数据集和 Microsoft COCO 大规模物体检测数据集的准确率，还超过了最近由 Facebook 何恺明等人提出的组归一化 GN（Group Normalization）。

NLP高频面试题（五十四）——深度学习归一化详解
WeLearnNLP
04-25 422
现代深度学习中出现了多种归一化技术，它们各有针对的应用场景和特点。我们下面将介绍批归一化（Batch Normalization）层归一化（Layer Normalization）组归一化（Group Normalization）等最为常见的方法，以及实例归一化（Instance Normalization）、**权重归一化（Weight Normalization）**等衍生技术。对于每种方法，我们将讨论其核心原理、计算步骤、优势与局限。
深度学习中的Normalization
AI天才研究院
07-12 1920
记网络某一层的输入$ X=(x_{nchw}) \in {\scr R}^{N×C×H×W} $，N为batch axis，C为channel axis，H、W为the spatial height and width axes。通过对每一层的输入进行归一化，不论低层的参数如何变化，高层的输入保持相对稳定，网络具有更好的尺度不变性，可以更高效地进行参数初始化和超参数选择。假设一个卷积层的feature map为$ Y \in {\scr R}^{H×W×C} $，H和W是特征映射的高度和宽度，C为通道数，
SwitchableNormalization-Keras:keras的可切换归一化方法
05-01
可切换归一化-Keras keras的可切换归一化方法 可切换归一化 本文的可归一化引入了可切换归一化（SN）。 博客解释SN方法。 SN适应权重3种不同的归一化方法，包括IN / LN / BN。 加权平均均值和方差分别需要3个可训练的平均权重和3个可训练的方差权重，因此SN的可训练参数等于2 * channels + 6 。 可切换规范化代码 实验 实验日志的详细信息位于目录实验中 比较3归一化方法： batch_norm（bn） // group_norm（gn） // switchable_norm（sn） 数据：ISBI 2D EM分割图像 网络：Unet（基于VGG） 纪元：5 环境：GeForce 1080Ti 结果： 训练时间：sn> gn> bn 细分结果：sn> gn> bn
Switchable Normalization
liguandong
03-16 1595
Switchable Normalization BN 会对训练过程产生更重要的影响：它使优化解空间更加平滑了，这种平滑使梯度更具有可预测性和稳定性，从而使训练过程更快。 Minibatch 对 BN的影响最大，因为BN的均值和方差是在minibatch上统计的，minibatch越小，这些统计量的估计会带来更大的噪声，对模型训练产生的过大正则化，从而影响模型的泛化能力。而LN,I...
深度剖析 | SN 可微分学习的自适配归一化 (Switchable Normalization)
Snoopy_Dream
07-12 6338
补充：NIPS 2018 | MIT新研究参透批归一化原理 根据最新的研究，BN层的成功和协方差什么的没有关联！证明这种层输入分布稳定性与 BatchNorm 的成功几乎没有关系。相反，我们发现 BatchNorm 会对训练过程产生更重要的影响：它使优化解空间更加平滑了。这种平滑使梯度更具可预测性和稳定性，从而使训练过程更快。 而且BatchNorm 并不是最好（唯一）的平滑解空间的方法，有时...
【SN】Switchable Normalization
Jason_mmt的博客
09-14 717
https://zhuanlan.zhihu.com/p/39296570?utm_source=wechat_session&utm_medium=social&utm_oi=70591319113728
深度学习-norm
yywxl的博客
01-07 745
有关集中几种norm的分类，暂且看下面几张图，有空可以参考这个博客具体看看
深度学习三大优化技术揭秘
最新发布
qq_42568323的博客
06-05 861
本文深入探讨了深度学习中三种关键优化技术：正则化、标准化和Dropout。正则化通过L1/L2惩罚项控制模型复杂度，L1产生稀疏解而L2获得平滑权重；标准化技术（如Batch Norm）通过规范化网络层输入加速训练收敛；Dropout则随机丢弃神经元以增强模型鲁棒性。文章对比了各类方法的数学原理、PyTorch实现和适用场景，并通过实验可视化展示了它们在不同任务中的效果。这三种技术协同使用可以有效解决深度学习中的过拟合问题，提升模型泛化能力。
深度学习之归一化补充篇--GN,LN,IN
qq_15073835的博客
04-22 2509
神经网络中，常用的归一化策略有BN(Batch Normalization)， WN(Weight Normalization)， LN(Layer Normalization)， IN(Instance Normalization)，GN(Group Normalization). BN是针对单个神经元进行归一化操作，多用于batch size大的CNN网络。使用batch size数量的样本的均值和方差，近似整体样本的均值和方差，独立地规范每一个输入维度x。也有人说，BN输出的是标准正态分布。BN使用的
归一化那些事儿——BatchNorm、 LayerNorm、 InstanceNorm、 GroupNorm、Weight Normalization
qq_40940771的博客
08-30 442
假设数据形状是NCHW(以cv图片为准，语音或时序数据则将HW记为H‘)。归一化的原因：深度神经网络难训练一个重要的原因就是深度神经网络涉及很多层的叠加，每一层的参数变化都会导致下一层输入数据分布的变化，随着层数的增加，高层输入数据分布变化会非常剧烈，这就使得高层需要不断适应低层的参数更新。因此，一个直接的想法是固定fix神经元的加权输入分布，将该分布的均值和方差框定在某一个范围中。norm结果可视化：立方体shape为(N, H, W, C)的像素点，N为batch size轴，C为通道轴。
深度学习基础知识之正则化
karry_zzj的博客
11-21 210
背景知识 1 训练误差与泛化误差 训练误差，顾名思义，就是在训练集上表现出的误差，而后者是通过训练得到的模型在任意一个测试集上表现出的误差的期望，但通常直接通过测试集上的误差即（测试误差）来近似。 假设学习到的模型是 Y=f^(X)Y = \hat{f}(X)Y=f^​(X)，则 训练误差 是模型关于训练数据集的平均损失： Remp(f^)=1N∑i=1NL(yi,f^(xi)),N为训练样本容量...
使用Switchable Normalization提升深度学习效率
gitblog_00020的博客
04-11 386
使用Switchable Normalization提升深度学习效率 在深度学习领域，正则化层是模型优化的关键一环。是一个创新的开源项目，它提供了一种灵活的、可切换的正则化策略，使得模型可以在批归一化（Batch Normalization）、层归一化（Layer Normalization）和实例归一化（Instance Normalization）之间自由切换，以适应不同任务和数据集的需求。 ...
论文阅读笔记之——《DIFFERENTIABLE LEARNING-TO-NORMALIZE VIA SWITCHABLE NORMALIZATION》
gwpscut的博客
01-24 858
本博文是关于SN（Switchable Normalization）论文的阅读笔记 select different normalizers for different normalization layers of a deep neural network. SN switches among them by learning their importance weights.通过学习...
SwitchableNorm
AI浩
11-01 744
SwitchableNorm是将BN、LN、IN结合，赋予权重，让网络自己去学习归一化层应该使用什么方法。新建switchable_norm.py。使用ResNet调用。
深度学习 norm层
weixin_36096321的博客
08-11 237
我整理的一些关于【深度学习】的项目学习资料（附讲解～～）和大家一起分享、学习一下：https://d.51cto.com/Hpqqk2深度学习中的Norm层 在深度学习中，Norm层是常用的技术之一，旨在改善模型的收敛速度和稳定性。Norm层有多种形式，包括Batch Normalization、Layer Normal...
Group Normalization（BN、LN、IN、GN）& Switchable Normalization & Weight Standardization
munan2017
08-26 1498
BN BN的作用 为了对隐含层进行归一化操作。对于每个隐层神经元，把逐渐向非线性函数映射后向取值区间极限饱和区靠拢的输入分布强制拉回到均值为0方差为1的比较标准的正态分布，使得非线性变换函数的输入值落入对输入比较敏感的区域，以此避免梯度消失问题。（如下图，加入激活函数后，可能会使很多的数据进入饱和区（即当x大于20之后，其梯度几乎为0）） 添加BN的原因 因为添...
深度学习模型组件-LayerNorm-层归一化（Layer Normalization, LayerNorm）
一名从Java开发工程师转型的人工智能研究生，致力于图像修复和图像超分领域的探索与研究。通过博客分享个人的学习心得、研究成果以及在人工智能应用中的实际经验，欢迎与同行交流。
03-05 3597
层归一化（Layer Normalization，简称 LayerNorm）是一种用于深度学习的归一化技术，由 Ba, Kiros, and Hinton在 2016 年提出。它的主要目的是解决批归一化（Batch Normalization, BN）在小批量（mini-batch）训练或循环神经网络（RNN）中的局限性。
深度学习方法（十六）：Batch Normalization及其变种——Layer Norm, Group Norm，Weight Norm等
Bin 的专栏
03-29 6703
很久没写博文了，这几天是元旦假期，抽一点时间写一些简单的内容，大家2018年一起加油，天天向上哈！ 本文的内容包括： Batch Normalization Weight Normalization Layer Normalization Batch Renormalization Batch Normalization 加粗 Ctrl + B 列表内容 斜体
深度学习基础—Batch Norm
sniper_fandc的博客
08-20 1521
对于一个神经网络我们知道，归一化输入特征是加速网络训练的技巧之一，因为归一化后，损失函数的图像就会由狭长变得更圆，那么这是否启发我们，在深度更深模型中，对各层的输出进行归一化，有益于下一层的学习？毕竟上一层的输出是下一层的输入。这就是由于每一层的参数更新后，对于同一输入，输出的分布就会发生改变（这称之为），这带来的影响是下一层需要不断适应上一层输出的分布，从而导致下一层与上一层之间的联系紧密（有点过拟合的意思），通过归一化就可以加强层与层之间的独立性，从而加速网络的学习。
头歌深度学习-深度学习中的正则化
04-03
### 深度学习中的正则化 #### 正则化的概念 正则化是一种用于防止过拟合的技术，旨在提升模型在未见数据上的泛化能力[^4]。当模型过于复杂时，可能会过度适应训练数据的噪声或细节，从而导致其无法很好地推广到新的样本。通过引入额外约束条件，正则化可以有效降低这种风险。 #### 常见的正则化方法及其作用 1. **L2 正则化 (Ridge)** L2 正则化通过对损失函数增加权重参数平方和的形式作为惩罚项，抑制了模型中较大权值的影响，从而使模型更加平滑并减少过拟合的可能性[^1]。具体来说，该方法会使得优化过程倾向于寻找较小绝对值的权重组合。 2. **L1 正则化** 不同于 L2 的方式，L1 使用的是权重绝对值之和作为附加成本。这种方法除了具备基本的防过拟合作用外，还具有稀疏性的特点——即某些不重要的特征对应的系数会被直接缩减至零[^3]。 3. **Dropout 技术** Dropout 是一种专门针对神经网络设计的独特形式的随机失活机制，在每次迭代过程中按照一定概率临时丢弃部分节点及其连接关系。这样做的好处在于强迫剩余单元共同协作完成任务而不是依赖单一路径，进而增强了整体架构稳定性以及抗干扰能力。 4. **Early Stopping 提前停止法** 这一简单却有效的手段基于监控验证集的表现决定何时终止训练流程。如果发现继续更新反而让性能下降，则立即结束当前进程以保留最佳状态下的参数配置。 5. **Data Augmentation 数据增强** 对原始输入样本施加变换操作生成更多样式的实例供算法学习利用，比如图像旋转、缩放等预处理措施都可以看作此类范畴内的实践案例之一。 6. **Batch Normalization 批量标准化** 它能够加速收敛速度的同时改善梯度传播状况，并间接起到一定的规范化效果，有助于缓解内部协变量偏移问题带来的负面影响。 7. **Weight Decay 权重衰减** Weight decay 可视为另一种表述形式下的 L2 regularization，两者本质上并无区别只是名称有所差异而已。 8. **Max Norm Constraints 最大范数限制** 将每层网络里的每一个单独过滤器的最大允许长度设定固定阈值范围内加以限定，以此达到简化结构的目的。 9. **Noise Injection 加入噪音扰动** 向激活值或者隐藏层输出注入适量人工制造出来的随机波动成分，模拟真实世界环境里不可避免存在的不确定性因素影响，促使系统学会忽略无关紧要的变化趋势而专注于核心规律提取工作上去。 #### 数学表达式与 Python 实现示例 以下是几种典型正则化方案的具体计算公式及其实现代码： - **L2 Regularization** \[ J(\theta) = Loss(y,\hat{y}) + \lambda ||\theta||_2^2 \] ```python import tensorflow as tf from tensorflow.keras import layers, models, regularizers model = models.Sequential() model.add(layers.Dense(64, activation='relu', kernel_regularizer=regularizers.l2(0.01))) ``` - **L1 Regularization** \[ J(\theta) = Loss(y,\hat{y}) + \alpha ||\theta||_1 \] ```python model.add(layers.Dense(64, activation='relu', kernel_regularizer=regularizers.l1(0.01))) ``` - **Dropout Implementation** ```python model.add(layers.Dropout(rate=0.5)) ``` --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值