【深度学习技术】Batch Normalization讲解

批量归一化技术
最新推荐文章于 2025-06-24 08:30:00 发布
最新推荐文章于 2025-06-24 08:30:00 发布
阅读量2.2k 收藏 2
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Deep Learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/hduxiejun/article/details/60468146
批量归一化（Batch Normalization，BN）是一种用于加速深度学习模型训练的技术。它通过规范化每一层神经网络的输入，确保数据分布在训练过程中保持稳定，从而提高训练速度并简化超参数调整过程。本文介绍了BN的基本概念、工作原理及其在实际应用中的优势。

Batch Normalization

批量归一化技术出现在2015年。
机器学习领域有个很重要的假设，独立同分布假设，就是假设训练数据和测试数据是满足相同分布的，这是通过训练数据获得的模型，能够在测试集获得的效果的一个基本保障。而BN就是在深度神经网络训练过程中使得每一层神经网络的输入保持相同分布的。

Mini-Batch SGD**优点**：梯度更新方向比较准确，并行计算速度比较快。
Mini-Batch SGD**缺点**：麻烦。超参数调起来很麻烦，比如学习率，参数初始化，Dropout比例等等。BN应用于Mini-Batch SGD之后就可以解决很多SGD的缺点，不用在担心调参的问题。

我们的训练数据是有一定的固定分布，不过深度学习中有很多的隐层，在训练过程中，各层参数会不断变化，很长时间之后才会稳定。BN的基本思想就是让每个隐层节点的激活输入分布股东下来，来提升训练速度。

收BN的起来发源于图像处理的白花操作。所谓白化，就是对输入数据分布变换到均值为0，方差为1的正态分布，那么神经网络较快收敛。

为什么要利用？

这里写图片描述

如果不利用BN，数据就会落在激活函数的饱和区，这样梯度越来越小，甚至出现梯度消失现象。

如何实现BN

这里写图片描述

把输入数据重新拉回到均值为0，方差为1的区域，这样让每层的输入落在（-1,1）区间，这段刚好是激活函数性能最好的区域。

落在0附近的线性区域也不好，进行下面的操作y= scale*x+shift。每个神经元增加了两个参数scale和shift参数，这两个参数是通过训练学习到的，意思是scale和shift把这个值重标准正态分布左移和右移一点并且长胖或变瘦一点。使得整个分布从中心周围的线性区往非线性区移动了一些。核心思想就是找到一个合适的位置，既能享有非线性的表达能力，又避免太靠近非线性去的两头使得网络收敛速度太慢。

这里写图片描述

对比了利用BN和不利用BN的结果，可以发现利用BN的结果性能更好。

网络中实现

这里写图片描述

对于一个m个样本的输入，对于每一层的输入进行归一化操作

这里写图片描述

这里写图片描述

其中X(k)=W*U+b
E[X(k)]代表m个样本在某个神经元之前x(k)的均值。
分母代表m个样本的x(k)的标准差。

算法原理如下所示：

这里写图片描述

测试阶段的均值和方差

测试阶段的均值和方差要用整体的均值和方差，这要求在计算每个mini-batch的时候要记录每个mini-batch的均值和方差
这里写图片描述

参考链接：http://blog.youkuaiyun.com/elaine_bao/article/details/50890491

Batch Normalization原理与代码实例讲解
AI天才研究院
09-29 1264
Batch Normalization原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1 问题的由来
深度学习：Batch Normalization（BN）
南淮北安的博客
10-23 501
文章目录一、背景二、初识BN（Batch Normalization）1、BN概述2、预处理操作选择 一、背景 本篇博文主要讲解2015年深度学习领域，非常值得学习的一篇文献：《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》，这个算法目前已经被大量的应用，...
Batch Normalization详解
mike112223的博客
08-12 1802
这几天重新看了BN，完成了翻译，也仔细的对里面一些自己感到疑惑的点，进行了查阅和思考，其中有一些个人见解，欢迎大家来讨论。 本文分两个部分，第一部分对BN进行一些基本讲解，第二部分讲其他的一些Normalization方法。 BN 1 问题 首先我们要明白BN想要解决的问题是什么，参考原文我们发现，随着网络越来越深，训练深度网络变得很困难，收敛速度很慢。 1.1 原因 原文告诉我们是因为 Inte...
Batch Normalization 详解及其各种变体
weixin_42615068的博客
07-29 607
一、Batch Normalization的前向与反向传播 前向传播： 图 1 Batch Normalization 前向传播 反向传播： 根据前向传播过程，可以获得如下计算图，均值和方差都省略了下标B。 假定损失函数为LLL，已知LLL相对于yiy_{i}yi​ 的偏导 ∂L∂yi\frac{\partial L}{\partial y_{i}}∂yi​∂L​, 求∂L∂γ\frac{\pa...
归一化：BatchNorm、LayerNorm、RMSNorm
weixin_48222697的博客
06-24 1432
本文分析了神经网络中"内部协变量偏移"问题及其解决方案。主要内容包括：1）归一化的动机在于解决不同尺度输入导致的训练困难；2）BatchNorm通过通道归一化处理图像数据，但存在推理阶段差异；3）LayerNorm更适合序列数据，与batch无关且训练推理一致；4）RMSNorm简化了LayerNorm的计算；5）PreNorm在模型架构中的重要性，如LLaMA采用前置RMSNorm。归一化技术能提高模型稳定性、加快收敛，是现代深度神经网络的关键组成部分。
Batch Normalization
12-17
Training Deep Neural Networks is complicated by the fact that the distribution of each layer's inputs changes during training, as the parameters of the previous layers change. This slows down the training by requiring lower learning rates and careful parameter initialization, and makes it notoriously hard to train models with saturating nonlinearities. We refer to this phenomenon as internal covariate shift, and address the problem by normalizing layer inputs. Our method draws its strength from making normalization a part of the model architecture and performing the normalization for each training mini-batch. Batch Normalization allows us to use much higher learning rates and be less careful about initialization. It also acts as a regularizer, in some cases eliminating the need for Dropout. Applied to a state-of-the-art image classification model, Batch Normalization achieves the same accuracy with 14 times fewer training steps, and beats the original model by a significant margin. Using an ensemble of batch-normalized networks, we improve upon the best published result on ImageNet classification: reaching 4.9% top-5 validation error (and 4.8% test error), exceeding the accuracy of human raters.
【深度学习】深入理解Batch Normalization批标准化
weixin_34161032的博客
04-05 3393
这几天面试经常被问到BN层的原理，虽然回答上来了，但还是感觉答得不是很好，今天仔细研究了一下Batch Normalization的原理，以下为参考网上几篇文章总结得出。 　　Batch Normalization作为最近一年来DL的重要成果，已经广泛被证明其有效性和重要性。虽然有些细节处理还解释不清其理论原因，但是实践证明好用才是真的好，别忘了DL从Hinton对深层网络做Pre-Tr...
Batch Normalization主要讲解
04-14
关于Batch Normalization的介绍，是组会中自己做的ppt。
深度学习-Batch Normalization 学习笔记
算法之美
11-24 786
深度学习，Batch Normalization 算法学习笔记
Batch Normalization详解（原理+实验分析）
热门推荐
macan的博客
02-10 1万+
Batch Normalization详解（原理+实验分析）1. 计算过程2. 前向传播过程3. 反向传播过程4. 实验分析4.1 实验一：验证有没有BatchNorm下准确率的区别4.2 实验二：验证有没有BatchNorm+noisy下准确率的区别4.3 实验三：验证有没有BatchNorm+noisy下准确率的区别4.4 实验小结5. BatchNorm的其他细节5.1 训练和推理阶段时参数的初始化问题5.2 BatchNorm在哪个位置最好？5.3 在训练时为什么不直接使用整个训练集的均值/方差？5
【深度学习】Batch Normalization详解
Roaddd的博客
04-23 677
Batch Normalization 学习笔记 原文地址：http://blog.youkuaiyun.com/hjimce/article/details/50866313 作者：hjimce 一、背景意义 本篇博文主要讲解2015年深度学习领域，非常值得学习的一篇文献：《Batch Normalization: Accelerating Deep Network Training by  Reduci...
BatchNormalization详解
u010325168的博客
10-10 1万+
1.batch normalization的原理 在神经网络训练过程中，由于网络参数根据梯度下降在不断的变化，每经过一个网络层数据的分布都会发生不同的改变。我们将这种由于网络参数更新造成的数据分布变化称为Internal Covariate Shift。Internal Covariate Shift会导致输入数据分布向某一个方向偏移，从而造成网络数据训练缓慢。以sigmoid激活函数构建的网络...
Batch Normalization 详解
RUN
06-29 682
BN是在激活层之前添加的。作用是把下一层(激活层)的输入量标准化，更容易学习到数据之中的规律。 从上图可以看出，如果没有标准化，前面遇到较大的值之后，下一层的激活函数就很难进行处理了。比如tanh，此时Wx2已经大于1，基本激活已经没有作用了，不敏感了。 Batch Normalization (BN) 就被添加在每一个全连接和激励函数之间. 从下图可以看出，进行了BN的数的分布在-1到1之间，这样激活函数也能相应的起到作用。 激活之后：可以看出，经过BN，激活之后输出值分布更加均匀，而没有BN的由于激活
讲解一下batch normalization
最新发布
07-22
Batch Normalization（简称BN）是一种在深度学习中广泛应用的技术，用于加速神经网络的训练过程并提高模型的稳定性。其核心思想是通过对每一层的输入进行标准化处理，使得网络各层的输入分布更加稳定，从而缓解梯度消失和梯度爆炸的问题。 ### 原理概述 Batch Normalization 的核心思想是在每个 mini-batch 上对输入数据进行标准化处理，即减去该 batch 的均值并除以其标准差。这样做的目的是为了让每一层的输入分布接近标准正态分布，从而减少内部协变量偏移（Internal Covariate Shift）[^2]。 具体来说，对于一个给定的 mini-batch 数据 $ x $，Batch Normalization 的计算过程如下： 1. **计算均值**：$$ \mu_B = \frac{1}{m} \sum_{i=1}^{m} x_i $$ 2. **计算方差**：$$ \sigma_B^2 = \frac{1}{m} \sum_{i=1}^{m} (x_i - \mu_B)^2 $$ 3. **标准化**：$$ \hat{x}_i = \frac{x_i - \mu_B}{\sqrt{\sigma_B^2 + \epsilon}} $$ 4. **缩放和平移**：$$ y_i = \gamma \hat{x}_i + \beta $$ 其中，$ m $ 是 mini-batch 的大小，$ \epsilon $ 是一个小的常数，用于防止除以零的情况，$ \gamma $ 和 $ \beta $ 是可学习的参数，用于恢复数据的表达能力。 ### 实现方法 在 TensorFlow 中，Batch Normalization 可以通过以下几种方式实现： - **tf.nn.batch_normalization**：这是一个低级的操作函数，调用者需要自己处理张量的平均值和方差。 - **tf.layers.batch_normalization**：这是对先前操作的高级包装。最大的不同在于它负责创建和管理运行张量的均值和方差，并尽可能地调用快速融合运算。通常，这个函数应该是默认选择。 - **tf.contrib.layers.batch_norm**：这是 batch norm 的早期实现，其升级的核心 API 版本为 `tf.layers.batch_normalization`。不推荐使用它，因为它可能会在未来的版本中丢失[^3]。 ### 示例代码 以下是一个使用 TensorFlow 的 `tf.layers.batch_normalization` 实现 Batch Normalization 的简单示例： ```python import tensorflow as tf # 定义输入占位符 inputs = tf.placeholder(tf.float32, shape=[None, 128]) # 添加 Batch Normalization 层 bn_layer = tf.layers.batch_normalization(inputs, training=True) # 定义其他层 dense_layer = tf.layers.dense(bn_layer, units=64, activation=tf.nn.relu) # 初始化变量 init_op = tf.global_variables_initializer() with tf.Session() as sess: sess.run(init_op) # 假设我们有一些输入数据 input_data = ... # 运行模型 output = sess.run(dense_layer, feed_dict={inputs: input_data}) ``` 在这个示例中，`tf.layers.batch_normalization` 被用来对输入数据进行标准化处理。`training=True` 参数表示在训练阶段使用 Batch Normalization，而在推理阶段应设置为 `training=False`。 ### 总结 Batch Normalization 通过标准化每一层的输入，有效地减少了内部协变量偏移，加快了训练速度，并提高了模型的泛化能力。在实际应用中，可以通过 TensorFlow 提供的不同函数来实现 Batch Normalization，其中 `tf.layers.batch_normalization` 是推荐使用的高级接口。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值