深度学习中的Batch Normalization

最新推荐文章于 2024-10-31 15:25:48 发布
原创 最新推荐文章于 2024-10-31 15:25:48 发布 · 989 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #神经网络 #神经网络优化 #BN #Batch Normalization

本文探讨了深度学习中Batch Normalization的重要性，解释了Internal Covariate Shift问题及其对训练的影响。Batch Normalization通过在神经网络中引入可学习的归一化层，解决了训练速度慢和模型泛化能力下降的问题，允许使用更高的学习率和减少对dropout的依赖。此外，它还可以减少L2权重衰减系数并替代局部响应归一化层。

关注微信公众号【Microstrong】,我现在研究方向是机器学习、深度学习，分享我在学习过程中的读书笔记！一起来学习，一起来交流，一起来进步吧！


本文同步更新在我的微信公众号中，公众号文章地址：https://mp.weixin.qq.com/s/o_Gwa11BauT60U7S1--3fQ

本文同步更新在我的知乎中：

深度学习中的Batch Normalization - Microstrong的文章 - 知乎https://zhuanlan.zhihu.com/p/36222443


1.为什么需要Batch Normalization

Batch Normalization就是在神经网络的训练过程中对每层的输入数据进行预处理。对输入数据预处理方法有很多，比如常用Z-score、白化等。

1.1 传统神经网络如何使用Normalization

传统的神经网络中，只是在输入层之前或在输出层之后对 x 进行标准化处理（减去均值，除标准差），让数据处于均值为0、方差为1的分布中，以降低样本间的差异性。过程如图1所示。


图1：传统网络的Normalization

思考一个问题：为什么传统的神经网络在训练开始之前，要对输入的数据做Normalization?

原因在于神经网络学习过程本质上是为了学习数据的分布，一旦训练数据与测试数据的分布不同，那么网络的泛化能力也大大降低；另一方面，一旦在mini-batch梯度下降训练的时候，每批训练数据的分布不相同，那么网络就要在每次迭代的时候去学习以适应不同的分布，这样将会大大降低网络的训练速度，这也正是为什么我们需要对所有训练数据做一个Normalization预处理的原因。

那么传统神经网络中使用Normalization的缺点是什么呢？

对于深度网络的训练是一个复杂的过程，只要网络的前面几层参数发生微小的改变，那么后面几层网络就会被积累放大发生更大的变动。一旦网络某一层的输入数据的分布发生改变，那么这一层网络就需要去适应学习这个新的数据分布，所以如果训练数据的分布发生变化，那么将会影响网络的训练速度。

1.2 白化预处理

最低0.47元/天 解锁文章
如何理解深度学习中Batch Normalization中Batch所代表具体含义？
小秋 AI SLAM 入门实战教程
12-26 604
如何理解深度学习中Batch Normalization中Batch所代表具体含义？
Batch Normalization
12-17
Training Deep Neural Networks is complicated by the fact that the distribution of each layer's inputs changes during training, as the parameters of the previous layers change. This slows down the training by requiring lower learning rates and careful parameter initialization, and makes it notoriously hard to train models with saturating nonlinearities. We refer to this phenomenon as internal covariate shift, and address the problem by normalizing layer inputs. Our method draws its strength from making normalization a part of the model architecture and performing the normalization for each training mini-batch. Batch Normalization allows us to use much higher learning rates and be less careful about initialization. It also acts as a regularizer, in some cases eliminating the need for Dropout. Applied to a state-of-the-art image classification model, Batch Normalization achieves the same accuracy with 14 times fewer training steps, and beats the original model by a significant margin. Using an ensemble of batch-normalized networks, we improve upon the best published result on ImageNet classification: reaching 4.9% top-5 validation error (and 4.8% test error), exceeding the accuracy of human raters.
【深度学习】批归一化（Batch Normalization）
热门推荐
vict_wang的博客
03-02 4万+
来源：https://www.cnblogs.com/skyfsm/p/8453498.html https://blog.youkuaiyun.com/bingo_csdn_/article/details/79393354 文章目录一、简介二、BN作用1.特征分布对神经网络训练的作用2.BN的作用三、BN的原理四、BN到底解决了什么五、预测时均值和方差怎么求？六、卷积神经网络CNN中的BN 一、简介 BN...
深度学习——Batch Normalization
Dunkle.T的博客
04-07 372
Batch Normalization的目的是使我们的一批（Batch）feature map（特征矩阵 ）满足均值为0，方差为1的分布规律。 常见的迁移学习方式： 1、载入权重后训练所有参数 2、载入权重后只训练最后几层参数 3、载入权重后在原网络基础上再添加一层全连接层，仅训练最后一个全连接层 ...
深度学习——batch normalization
qq_23236081的博客
11-02 950
参考链接：https://mp.weixin.qq.com/s/XPsRC6rC4_I9a-WPzOTSyw Table of Contents 什么是Batch Normalization 它如何工作 优点 Batch Normalization的诅咒 在使用小batch size的时候不稳定 导致训练时间的增加 什么是Batch Normalization 在训练过程中，当我们更新之前的权值时，每个中间激活层的输出分布会在每次迭代时发生变化。这种现象称为内部协变量移位(IC..
深度学习之BatchNormalization的作用
AndyJ的学习之旅
05-11 7392
BatchNormalization的作用 神经网络在训练的时候随着网络层数的加深,激活函数的输入值的整体分布逐渐往激活函数的取值区间上下限靠近,从而导致在反向传播时低层的神经网络的梯度消失。而BatchNormalization的作用是通过规范化的手段,将越来越偏的分布拉回到标准化的分布,使得激活函数的输入值落在激活函数对输入比较敏感的区域,从而使梯度变大,加快学习收敛速度,避免梯度消失的问题。 BN层的作用是把一个batch内的所有数据，从不规范的分布拉到正态分布。这样做的好处是使得数据能够分布在激活函
Py深度学习基础|关于Batch Normalization
小菜的博客
05-06 601
关于Batch Normalization的理解
深度学习Batch Normalization理论
11-09
深度学习中的Batch Normalization（批量归一化）是一种加速深度神经网络训练的技术，由Sergey Ioffe和Christian Szegedy于Google公司提出。这项技术被广泛应用于深度学习领域，它通过减少网络内部的协变量偏移...
BatchNormalization
森宝的博客
03-28 5238
本文仅介绍BatchNormalization的理解，对于原理部分，网上博客资料很详细．　在做图像的神经网络训练时，我们往往每次给神经网络喂食一个batch的数据，当然这些数据指的是一个个的image或者feature map.比如我们batch_size=32，即每次处理32张image或者　feature map.而这一个batch的数据的不能反映出该batch的分布情况，需要将其映射到某个区间上，以反映样本集的分布，这时候就需要使用normalization对数据进行处理．可以参考下面图片理解．使用了
深度学习基础知识-Batch Normalization（BN）超详细解析
最新发布
lqq
10-31 5023
在深层神经网络（Deep Neural Networks, DNNs）中，层与层之间的输入分布会随着参数更新不断发生变化，这种现象被称为内部协变量偏移（Internal Covariate Shift）。具体来说，由于网络层逐层堆叠，各层参数的更新可能会导致前一层的输出分布发生变化，进而影响到下一层的输入分布。不稳定的梯度传播：随着层数的加深，输出的分布在层与层之间逐渐偏离原始的分布，使得梯度变得不稳定，从而导致梯度消失或梯度爆炸等问题。训练收敛速度变慢。
Batch Normalization原理及其TensorFlow实现——为了减少深度神经网络中的internal covariate shift，论文中提出了Batch Normalization算...
djph26741的博客
03-08 198
批标准化（Bactch Normalization，BN）是为了克服神经网络加深导致难以训练而诞生的，随着神经网络深度加深，训练起来就会越来越困难，收敛速度回很慢，常常会导致梯度弥散问题(Vanishing Gradient Problem)。 统计机器学习中有一个经典的假设:Source Domain 和 Target Domain的数据分布是一致的。也就是说，训练数据...
【CV基石】Batch Normalization
hello AI
05-10 781
BN作用 首先，在进行训练之前，一般要对数据做归一化，使其分布一致，但是在深度神经网络训练过程中，通常以送入网络的每一个batch训练，这样每个batch具有不同的分布；此外，为了解决batch normalizaiton论文中提出的internal covarivate shift问题，因为在训练过程中，数据分布会发生变化，对下一层网络的学习带来困难。 Internal Covariate S...
深度学习中Tensorflow实现Batch Normalization教程
2. Batch Normalization（BN）：批量归一化是深度学习中用于加速训练过程并提升模型性能的一种技术。它通过在每个小批量数据的输入上归一化，使数据点的均值接近0，标准差接近1，从而解决内部协变量偏移（Internal ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值