深入理解Batch Normalization

最新推荐文章于 2025-02-25 22:18:10 发布
最新推荐文章于 2025-02-25 22:18:10 发布
阅读量384 收藏 1
点赞数
分类专栏： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/bolun365/article/details/102761666
版权

Batch Normalization层作用

在网络隐层中Batch Normalization层一般在激活函数前, 主要起到两个作用:
1. 通过计算均值和方差两个参数, 避免上一层的卷积层产生的数据偏移较大, 最终落在激活函数梯度接近为0的区域, 造成递度弥散.
2. 本层自学习缩放因子γ和移位因子β(输入每个通道一组), 这两个参数会抵消均值和方差两个参数的部分作用, 从而避免数据落在0附近的线性区域, 增加模形的非线形学习能力.

在模形训练过程中, 两种功能相互制约, 最终找到一个平衡点.

Relu与Batch Normalization

由于Relu在0位置截断, 且没有梯度弥散现象, Batch Normalization层的这两种作用相对有限. 故有以下两种组合:
1. 对于大网络, Batch Normalization放在Relu后会更好, 模型的每个卷积层更需要前一层归一化的input, 有利于特征层学习的稳定性, 以加速卷积层学习.
2. 对于小网络, Batch Normalization放在Relu之前会更好, Batch Normalization的会通过第二种作用尽量最大化Relu的非线性学习能力.

个人观点, 欢迎讨论.

参考资料:
https://www.cnblogs.com/guoyaohua/p/8724433.html
https://www.zhihu.com/question/283715823

Batch Normalization深入理解
allein_STR的博客
11-06 1468
Batch Normalization深入理解 1. BN的提出背景是什么？ 统计学习中的一个很重要的假设就是输入的分布是相对稳定的。如果这个假设不满足，则模型的收敛会很慢，甚至无法收敛。所以，对于一般的统计学习问题，在训练前将数据进行归一化或者白化（whitening）是一个很常用的trick。 但这个问题在深度神经网络中变得更加难以解决。在神经网络中，网络是分层的，可以把每一层视为一个单独的分类器，将一个网络看成分类器的串联。这就意味着，在训练过程中，随着某一层分类器的参数的改变，其输出的分布也
【深度学习】深入理解Batch Normalization批标准化
夹猪逃的博客
04-12 630
Batch Normalization1. “Internal Covariate Shift”问题2. BatchNorm的本质思想1）函数图像说明2）算法3）引入参数恢复表达能力4）公式3. 测试阶段如何使用Batch Normalization？4. BatchNorm的优势 机器学习有个很重要的假设：IID独立同分布建设，就是假设训练数据和测试数据是满足相同分布的，这就是通过训练数据获得的模型能够在测试集获得很好效果的一个基本保障。BatchNorm的作用是什么呢？ BatchNorm就是在深度神经
深入理解Batch Normalization批标准化
jieshaoxiansen的博客
06-16 544
Batch Normalization作为最近一年来DL的重要成果，已经广泛被证明其有效性和重要性。本文是对论文《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》的导读。 　　机器学习领域有个很重要的假设：独立同分布假设，就是假设训练数据和测试数据是满足相同分...
Batch Normalization 和 Layer Normalization
最新发布
weixin_50174671的博客
02-25 1546
上图展示了一个batch size为2的Batch Normalization的计算过程，假设feature1、feature2分别是由image1、image2经过一系列卷积池化后得到的特征矩阵，feature的channel为2，那么x(1)代表该batch的所有feature的channel1的数据，同理x(2)代表该batch的所有feature的channel2的数据。然后分别计算每个通道的均值与方差。注意是一个向量不是一个值，向量的每一个元素代表着一个维度（channel）的方差。
深入理解 BatchNormalization
yuan_1520的博客
10-27 674
深入理解 BatchNormalization 经典论文**《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》**提出了Batch Normalization（BN） 批标准化的概念，在模型中运用 BN 不仅可以加快了模型的收敛速度，而且更重要的是在一定程度缓解...
深度学习笔记：如何理解 Batch Normalization
SunshineSki的博客
11-16 1970
本笔记大部分内容来自张俊林博客学习整理,文末附参考链接。 文章目录@[toc]1. 引言2. "Internal Covariate Shift" 问题3. BatchNorm的本质思想4. 训练阶段如何做BatchNorm5. BatchNorm的推理过程6. BatchNorm优点 1. 引言 机器学习领域有个很重要的假设：IID（independently and identically...
理解Batch Normalization（批标准化）
gaoxueyi551的专栏
01-26 692
一、前言 Batch Normalization的原始论文读了有几遍，每次读起来都感觉内容很晦涩，很长时间都没有理解透彻其中的基本概念和一些细节。最近因为工作原因，深入的进行了一次研读，终于把主要脉络和细节搞清楚了，所以，本文试着将自己对BN的理解进行整理，希望能帮到也在研究BN的同学，也欢迎对BN有深入理解的同学批评指正。 二、背景 在讲一个复杂的概念的时候，搞清楚其出现的背景很重要，因果关系搞清楚了，后面在实践过程中才能理解的更加透彻。BN的提出源于一个概念： covariv...
batch normalization 和 layer normalization 在RNN（LSTM、GRU）上的TensorFlow实现
04-19
在深度学习领域，Batch Normalization（批量归一化）和Layer Normalization（层归一化）是两种常用的技术，用于优化神经网络模型的...通过深入理解并结合实际应用，我们可以更好地利用这些工具来解决各种序列预测问题。
深入理解 Batch-Normalization 前向传播 forward /反向传播 backward 以及 代码实现
qq_27370437的博客
08-11 4377
深入理解 Batch-Normalization BN 能显著提升神经网络模型的训练速度(论文)，自2015年被推出以来，已经成为神经网络模型的标准层。 现代深度学习框架（如 TF、Pytorch 等）均内置了 BN 层，使得我们在搭建网络轻而易举。这间接造成很多人对于 BN 的理解只停留到在 概念 层面，而没有深入公式数学，详细推导其行为 （前向传播+反向传播）。 本文的主旨则是从数学公式层面，详细推导 BN，并通过代码手动实现BN 层。 一、BN 的 前向传播 让我们从原论文中最出名的一张图开始吧：
batch_normalization理解
越努力，越幸运
08-25 392
补充一些batch normalization的知识点，以及当时看tensorflow教材的一个截图，方便理解BN的参数。 （1）batch normalization就是在深度神经网络训练过程中使得每一层神经网络的输入保持相同分布的 （2）在训练过程中，隐层的输入分布老是变来变去，这就是所谓的“Internal Covariate Shift” （3）深层神经网络在做非线性变换前的输入值w...
Batch Normalization
12-17
Training Deep Neural Networks is complicated by the fact that the distribution of each layer's inputs changes during training, as the parameters of the previous layers change. This slows down the training by requiring lower learning rates and careful parameter initialization, and makes it notoriously hard to train models with saturating nonlinearities. We refer to this phenomenon as internal covariate shift, and address the problem by normalizing layer inputs. Our method draws its strength from making normalization a part of the model architecture and performing the normalization for each training mini-batch. Batch Normalization allows us to use much higher learning rates and be less careful about initialization. It also acts as a regularizer, in some cases eliminating the need for Dropout. Applied to a state-of-the-art image classification model, Batch Normalization achieves the same accuracy with 14 times fewer training steps, and beats the original model by a significant margin. Using an ensemble of batch-normalized networks, we improve upon the best published result on ImageNet classification: reaching 4.9% top-5 validation error (and 4.8% test error), exceeding the accuracy of human raters.
Batch normalization
weeeeeida的博客
04-16 198
传统的神经网络，只是在将样本x输入输入层之前，对x进行标准化处理（减均值，除标准差），以降低样本间的差异性。BN是在此基础上，不仅仅只对输入层的输入数据x进行标准化，还对每个隐藏层的输入进行标准化。 传统方法 Batch Normalization BN 使用（小）批计算的均值和方差对特征进行归一化，以简化优化使非常深的网络能够融合。批量统计的随机不确定性也可以作为一个正...
深入理解TensorFlow中的Batch Normalization折叠技术
其中，Batch Normalization（批量归一化）是深度神经网络训练过程中用于提高训练速度和稳定性的技术，而Batchnorm Folding是针对TensorFlow中批量归一化层的一种优化技术。 在深度学习模型训练过程中，每一批数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值