BatchNorm论文阅读笔记

最新推荐文章于 2025-08-02 16:41:35 发布
原创 最新推荐文章于 2025-08-02 16:41:35 发布 · 900 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

目录

前言

    BatchNorm作为深度学习训练的一个大杀器，重要性还是不言而喻的。最近学习了一下BatchNorm的论文，简单记录一下以便复习。论文中的好多公式推导都没看明白，只能结合吴恩达深度学习的讲解，写一些感性上的认识吧。下面这篇博客讲的很好，我就在它的基础上补充一下好了。
　　深入理解Batch Normalization批标准化
　　BatchNorm论文下载传送门

BatchNorm论文阅读笔记

Abstract

    在训练的时候，由于前面层的权重更新，后面每一层的输入的分布会发生变化，这导致训练深度神经网络非常困难。需要设置较小的学习率和一定的权重初始化方法来应对这个问题。我们将这种现象称为internal covariate shift。我们提出了一种归一化方法，将这种方法整合到网络结构中，并在训练时每个mini-batch上进行归一化，来解决这个问题。BatchNorm可以使我们在训练时使用更大的学习率，并且网络初始化方法不需要像以前那样很careful，并具有一定的正则化效应。

为什么用BatchNorm

    前面网络的参数发生微小的变化，都会随着网络深度的增加而不断放大，导致对后面层的训练产生很大影响。
　　网络的中间层的输入发生变化，导致这些发生变化的层在训练的时候需要不断地适应新的数据分布。

具体做法

    在训练时，对需要进行BatchNorm的层做如下操作：

最低0.47元/天 解锁文章
comic97
关注
深度学习论文: Rethinking “Batch” in BatchNorm及其PyTorch实现
mingo_敏
12-19 283
BN在训练和测试中行为不一致：训练时，BN的统计量来自mini-batch；测试时，BN的统计量来自population。这部分主要探讨了BN行为不一致对模型性能的影响，并且提出消除不一致的方法提升模型性能。
【YOLOv10】2024年5月最新的YOLO系列模型Yolov10(论文阅读笔记) + 完整创新点说明 + 总结
静谧、淡雅
05-29 3640
2024年5月最新的YOLO系列模型Yolov10的论文阅读笔记
【论文】BatchNorm
Aries_young的博客
09-08 956
BatchNorm主要解决的问题 机器学习领域有一个很重要的基础假设：iid（独立同分布），即训练数据和测试数据独立且服从同一分布 但是这一点并不符合真实的实践情况，BatchNorm 指出了下面两种问题： 『Internal Convariate Shift』 这个术语主要描述的是：在每一次迭代更新之后，上一层网络的输出数据经过这一层网络计算之后，数据的分布会发生变化，为下一层网络的学习带来了困难（神经网络本来就是学习数据的分布，要是分布一直在变，学习就很难了），这个现象我们就称为 Internal Co
BatchNorm 论文笔记
wineandchord
03-22 321
训练网络通常来说是复杂的，因为每一层的分布都会随着每一次的训练而改变。输入分布的改变叫做 covariate shift 。 首先对于 SGD 优化来讲，其目标为： Θ=arg min⁡Θ1N∑i=1Nℓ(xi,Θ) \Theta=\argmin_\Theta\frac{1}{N}\sum_{i=1}^N \ell(\mathrm{x}_i,\Theta) Θ=Θargmin​N1​i=1∑N​...
Batch Renormalization
baidu_32173921的博客
03-23 6341
BatchRenormalization 本文系batch norm原作者对其的优化，该方法保证了train和inference阶段的等效性，解决了非独立同分布和小minibatch的问题。其实现如下： 其中r和d首先通过minibatch计算出，但stop_gradient使得反传中r和d不被更新，因此r和d不被当做训练参数对待。试想如果r和d作为参数来更新，如下
深度学习: Batch Normalization论文详细解读
Hanze的博客
12-08 1991
BN使得每层网络输出分布相对稳定，可以使用更大的学习率加速模型。BN使得模型对网络中的参数不那么敏感，简化调参过程，使得网络学习更加稳定。BN允许网络使用饱和性激活函数（例如sigmoid，tanh等），缓解梯度消失问题。BN具有一定的正则化效果。
论文阅读笔记（通道注意力）
weixin_45409613的博客
06-16 1935
本周阅读了 Squeeze-and-Excitation Networks 这篇文献，该文献提出了SENet架构，SENet（Squeeze-and-Excitation Networks）是一种深度学习架构，它通过引入注意力机制来增强卷积神经网络（CNN）的特征学习能力。其核心是SE模块，它通过显式地建模特征通道之间的相互依赖关系，使网络能够自适应地调整每个通道的响应。SE模块通过学习每个特征通道的重要性权重，然后根据这些权重对特征进行重标定，从而提升有用的特征并抑制无关的特征。
论文阅读笔记：Dataset Condensation with Gradient Matching
m0_61222152的博客
08-02 1163
本文提出了一种创新的数据集压缩方法——数据集凝缩（Dataset Condensation,DC）其核心思想是通过梯度匹配（Gradient Matching）,将一个大型数据集`T`浓缩成一个极小的、信息量丰富的合成数据集`S`。在`S`上从头训练的模型，其性能可以逼近在`T`上训练的模型，从而极大地节省了存储和训练成本。
论文心得：BatchNorm及其变体
achao的专栏
03-27 1万+
本文记录BatchNormalization及其四个拓展，分别是BatchRenormalization、AdaBN、WeightNormalization、NormalizationPropagation
【原理】Batch Normalization 论文及原理总结
Geoff Blog
03-09 461
【原理】Batch Normalization 论文及原理总结 目录 总结 论文：Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift 论文摘要 训练深度神经网络的复杂性在于，每层输入的分布在训练过程中会发生变化...
Batch Normalization 论文阅读
不忘初心不动摇
02-28 4163
论文：Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift 参考：https://www.cnblogs.com/guoyaohua/p/8724433.html BatchNorm就是在深度神经网络训练过程中使得每一层神经网络的输入保持相同分布的。 BN 本质...
【论文理解】Batch Normalization论文中关于BN背景和减少内部协变量偏移的解读（论文第1、2节）
takedachia的博客
08-07 1758
最近在啃Batch Normalization的原论文（Title：Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift）。 详细记录一下对论文前面部分的个人笔记和理解，包括第一部分的Introduction和第二部分的减少内部协变量偏移。 包括了BN解决的问题的由来，以及用普通的Normalization方法为什么不行。...
【ICML 2024】重参数化BatchNorm，可直接替换现有归一化方法！
qq_43303160的博客
03-11 1295
同时，为了提高Transformer的效率，研究者们尝试了多种方法，包括限制自注意力机制中token交互的范围、采用线性注意力机制以及替换LayerNorm为BatchNorm等。(b) 在推理过程中，可以得到γ=0，因此，Transformer块转变为基于RepBN的架构，该架构可以进一步重参数化为批量归一化，并与线性层合并。此外，SLAB-SwinT模型在ImageNet-1K上取得了83.6%的top-1准确率，比FlattenSwin模型低2.4ms的延迟。
一篇文章搞懂Batch Normalization批标准化
jindaxiaoooo的博客
09-01 690
Batch Normalization 是近些年深度学习的重要成果，实践证明其优先性和重要性，深度学习是一个经验领先于理论分析的偏经验的一门学问。 本文是对论文《 Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》的导读。 首先介绍机器学习的一个重要概念：IID独立同分布假设，就是假设训练数据和测试数据是满足相同分布的，这是通过训练数据获得的模型在测试数据上表现良好的一个保
【深度学习笔记】Batch Normalization 以及其如何解决梯度消失问题
浩瀚之水的专栏
01-08 5492
前言 Batch Normalization作为最近一年来DL的重要成果，已经广泛被证明其有效性和重要性。目前几乎已经成为DL的标配了，任何有志于学习DL的同学们朋友们雷迪斯俺的詹特曼们都应该好好学一学BN。BN倒过来看就是NB，因为这个技术确实很NB，虽然有些细节处理还解释不清其理论原因，但是实践证明好用才是真的好，别忘了DL从Hinton对深层网络做Pre-Train开始就是一个经验领先于理论分析的偏经验的一门学问。 如何理解BatchNorm?请参考论文：Batch Normalization:
关于BatchNorm的理解与讨论
沈春旭的博客
07-27 1万+
参考论文：Ioffe S, Szegedy C. Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift[J]. international conference on machine learning, 2015: 448-456. 期刊水平：ICML2015 参...
基础 | batchnorm原理及代码详解
热门推荐
Double_V的博客
01-12 11万+
Batchnorm原理详解 前言：Batchnorm是深度网络中经常用到的加速神经网络训练，加速收敛速度及稳定性的算法，可以说是目前深度网络必不可少的一部分。 本文旨在用通俗易懂的语言，对深度学习的常用算法–batchnorm的原理及其代码实现做一个详细的解读。本文主要包括以下几个部分。 Batchnorm主要解决的问题 Batchnorm原理解读 Batchnorm的优点 B
Batch Normalization导读
Leo的博客
05-25 1362
转载自： http://blog.youkuaiyun.com/malefactor/article/details/51476961#0-tsina-1-62851-397232819ff9a47a7b7e80a40613cfe1 Batch Normalization作为最近一年来DL的重要成果，已经广泛被证明其有效性和重要性。目前几乎已经成为DL的标配了，任何有志于学习DL的同学们朋友们
Batchnorm原理详解
wzy_zju的博客
07-28 8万+
Batchnorm原理详解 前言：Batchnorm是深度网络中经常用到的加速神经网络训练，加速收敛速度及稳定性的算法，可以说是目前深度网络必不可少的一部分。 本文旨在用通俗易懂的语言，对深度学习的常用算法–batchnorm的原理及其代码实现做一个详细的解读。本文主要包括以下几个部分。 Batchnorm主要解决的问题 Batchnorm原理解读 Batchnorm的优点 Batc...
ResNet论文精读：翻译＋学习笔记＋pytorch代码复现
最新发布
10-25
虽然给定的引用未涉及ResNet论文的精读内容、翻译、学习笔记及PyTorch代码复现相关信息，但下面为你提供关于ResNet论文的一些通用信息。 ### ResNet论文翻译 ResNet（Deep Residual Learning for Image Recognition...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值