【AI面试】BN（Batch Norm）批量归一化

已于 2024-11-06 20:45:25 修改
阅读量864 收藏 5
点赞数
CC 4.0 BY-SA版权
分类专栏： 7天快速通过AI/CV面试 文章标签： batch 深度学习 人工智能
于 2023-04-02 16:17:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wsLJQian/article/details/126375702
批量归一化（BN）是为了解决深度学习中内部协变量转移问题，加速训练并提高模型性能。BN通过计算批次数据的均值和方差进行归一化，然后应用可学习的参数进行调整。它通常应用于全连接层和卷积层的激活函数前。在推理阶段，使用训练阶段统计的全局均值和方差。BN与Layer Normalization（LN）的区别在于BN沿通道维度归一化，而LN对每个样本的所有通道进行归一化。BN在图像处理中表现良好，而在NLP中，LN可能更合适。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录


在提到批量归一化的面试问题时候，一般会以以下几种形式提问：

  1. 为什么要引入BN？
  2. BN解决了什么问题？
  3. BN的公式是怎样的？
  4. BN公式中，有哪些参数是可学的？
  5. BN中，均值和方差的尺寸shape是什么样子的？
  6. BN在训练阶段和验证阶段，有什么不同？

本文就围绕上述的问题，展开来说，希望对你有帮助。如果真有，麻烦给个赞👍，支持一波。

后面的内容主要是学习了沐神的视频，进行了一些理解和补充。感兴趣的可以直接去看原视频，视频链接：批量归一化【动手学深度学习v2】

一、批量归一化概念

1.1、为什么要引入批量归一化

1

我们都知道：

  1. 数据forward阶段，从下往上，输入数
了解本专栏 订阅专栏 解锁全文 超级会员免费看
深度强化学习算法是否需要使用批归一化(Batch Norm) 或归一化，文本带你详解。
丨汀、的博客
07-15 2158
深度强化学习算法是否需要使用批归一化(Batch Norm) 或归一化，文本带你详解。
面试收获——对于Batch Normalization不要只会公式了！！！！
JustWantToLearn的博客
05-10 922
batch normalization 深度理解
深度学习面试题21：批量归一化(Batch Normalization,BN)
weixin_30852451的博客
07-24 555
目录 　　BN的由来 　　BN的作用 　　BN的操作阶段 　　BN的操作流程 　　BN可以防止梯度消失吗 　　为什么归一化后还要放缩和平移 　　BN在GoogLeNet中的应用 　　参考资料 BN的由来 BN是由Google于2015年提出，论文是《Batch Normalization_ Accelerating Deep Netwo...
机器学习面试题之——BatchNorm
cuiy0818的博客
07-28 2594
一、背景知识 1、机器学习领域有个重要假设：IID独立同分布假设，就是假设训练数据和测试数据是满足相同分布的，这是通过训练数据获得的模型能够在测试集获得好的效果的一个基本保障。而BatchNorm就是在深度神经网络训练过程中使得每一层神经网络的输入保持相同分布。 2、Covariate Shift 指训练数据和测试数据存在分布的差异性。这会给网络的泛化性和训练速度带来了影响，我们经常使用的方法...
[DeeplearningAI笔记]第二章3.4-3.7-Batch NormalizationBN算法
泛用演化计算、通用人工智能优化模型
10-29 1708
Batch NormalizationBatch归一化觉得有用的话,欢迎一起讨论相互学习~Follow Me3.4正则化网络的激活函数 Batch归一化会使你的参数搜索问题变得很容易,使神经网络对超参数的选择更加稳定.超参数的范围会更庞大,工作效果也更好.也会使你更容易的训练甚至是深层网络. 对于logistic回归来说 正则化原理u=1m∑xi(求出平均值u)x=x−uσ2=1m∑(xi)2(求出
深度学习笔记（二十三）Batch Norm归一化
我的技术栈碎碎念空间
01-28 553
一、Batch Norm归一化激活函数 首先回顾一下归一化输入是怎样的？ μ=1m∑i=1x(i)\mu=\frac{1}{m}\sum_{i=1} x^{(i)}μ=m1​i=1∑​x(i) x=x−μx=x-\mux=x−μ σ2=1m∑i=1x2\sigma^2=\frac{1}{m}\sum_{i=1} x^2σ2=m1​i=1∑​x2 x/=σx/=\sigmax/=σ 现在考虑归一化激活函数，通常做法是归一化计算得到的z(i)z^{(i)}z(i)而不是a(i)a^{(i)}a(i)。 μ=1
卷积神经网络（CNN）中的批量归一化层（Batch Normalization Layer）
搏博的专栏
11-24 4052
批量归一化层（BatchNorm层），或简称为批量归一化（Batch Normalization），是深度学习中常用的一种技术，旨在加速神经网络的训练并提高收敛速度。为了让数据在训练过程中保持同一分布，在神经网络的中间层（隐藏层）的一层或多层上进行批量归一化。对于每一个小批次数据（mini-batch），计算该batch的均值与方差，在将线性计算结果送入，先对计算结果进行批量归一化处理，即减均值、除标准差，保证计算结果符合均值为0、方差为1的标准正态分布，然后再将计算结果作为激活函数的输入值进行计算。
深度学习-各种归一化(Batch Norm、Layer Norm、Group Norm、InstanceNorm、Spatially-Adaptive Norm）
ssshyeong的博客
03-30 8201
数据的归一化操作是数据处理的一项基础性工作，本文主要介绍了现有的四种归一化方法，包括Batch Normalization、Layer Normalization、Group Normalization、InstanceNorm以及近期在图像翻译领域遇到的Spatially-Adaptive Normalization
【AI知识点】批归一化（Batch Normalization）
AI完全体
10-07 1787
批归一化（Batch Normalization） 是一种重要的神经网络正则化方法，它通过标准化每一层的输入来加速神经网络的训练过程并提高模型的稳定性。其主要优势包括减少梯度消失和梯度爆炸、加快收敛速度，并提供一定的正则化效果，降低过拟合风险。批归一化在卷积神经网络和全连接神经网络中非常流行，几乎是现代深度学习模型中的标准组件。
归一化层（BatchNorm、LayerNorm、InstanceNorm、GroupNorm）
weixin_42382758的博客
04-28 2352
以下图床。
批量归一化
优快云不再更新
07-22 1304
批归一化 批量归一化的基本动机 神经网络训练过程的本质是学习数据分布，然而随着网络训练的进行，每个隐层的参数变化使得后一层的输入发生变化，从而每一批训练数据的分布也随之改变，致使网络在每次迭代中都需要拟合不同的数据分布，增大训练的复杂度以及过拟合的风险。 批量归一化(Batch Normalization) 批量归一化方法是针对每一批数据，在网络的每一层输入之前增加归一化处理（均值为0，标准差为1），将所有批数据强制在统一的数据分布下，即对该层的任意一个神经元（假设为第kkk维）x‾k\overli
BatchNorm 批量归一化层的解释与代码实现
weixin_45928096的博客
01-09 1629
BatchNorm 批量归一化层的解释与代码实现 我们通常既然训练时使用了批量归一化，那么测试时也该使用批量归一化吗？如果不用，由于数据的量纲问题，训练出的模型参数很可能在测试时不准确。如果用，考虑极端情况：测试的数据只有一个数据时的预测也会出现问题（相当于没有用）。所以，在测试时我们还是需要对数据使用批量归一化。在训练时，把原先训练时用到的批量均值和方差替换成整个训练数据的均值和方差。但当训练数据很大时这个计算开销很大。 因此我们用平均移动的方差来近似计算，即BN层moving_mean和variance
批量归一化 BatchNormalization
SHIDA优快云的博客
04-16 331
一、Batch Normalization 如果设定了合适的权重初始值，则各层的激活值分布会有适当的广度，从而可以顺利地进行学习。 为了使各层拥有适当的广度(激活值分布不能太广，易饱和)，Batch Normalization 试图在学习过程中“强制性”地调整激活值的分布会怎样呢？缓解内部协变量偏移。 直观地说，机器学习就是要拟合数据的分布。在训练过程中，神经网络参数...
Batch Normalization批量归一化
知识搬运工的博客
03-31 4132
深度学习捷报连连、声名鹊起，随机梯度下降成了训练深度网络的主流方法。尽管随机梯度下降法对于训练深度网络简单高效，但是它有个毛病，就是需要我们人为的去选择参数，比如学习率、参数初始化、权重衰减系数、Drop out比例等。这些参数的选择对训练结果至关重要，以至于我们很多时间都浪费在这些的调参上。那么学完这篇文献之后，你可以不需要那么刻意的慢慢调整参数。 批量标准化一般用在非线性...
转——深度学习之BN算法（Batch Normailization）
diezhai9068的博客
05-31 517
Batch Normalization 学习笔记 原文地址：http://blog.youkuaiyun.com/hjimce/article/details/50866313 作者：hjimce 一、背景意义 本篇博文主要讲解2015年深度学习领域，非常值得学习的一篇文献：《Batch Normalization: Accelerating Deep Network Training by...
批量归一化(Batch normalization)
qq_53183473的博客
05-06 1680
动手学深度学习笔记-批量归一化
BN层在人工智能领域的发展：人工智能的未来
AI天才研究院
01-15 114
1.背景介绍 人工智能（Artificial Intelligence, AI）是计算机科学的一个分支，研究如何让计算机模拟人类的智能行为。在过去的几十年里，人工智能技术的发展取得了显著的进展，包括自然语言处理、计算机视觉、机器学习等领域。在这些领域中，深度学习（Deep Learning）是一种特别重要的技术，它能够自动学习出复杂的模式，并且在许多任
极智AI | 从部署的角度看 bn 和 in 算子
极智视界
09-18 750
本文介绍一下从部署角度来看 bn 和 in 的实现与对比。
深度学习论文1--批量归一化（Batch Normalization:Accelerating...）
jainszhang的博客
04-20 2562
批量归一化论文Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift本博客只为学习使用，如有对原论文造成侵权，请联系博主删除。本博客为原创，如果转载请注明出处。1.如果我们可在训练时保证非线性输入的稳定分布，就可以减少因饱和而产生的梯度消失等问题，进而加速网络训练。  ...
深度学习中的归一化方法总结和比较（BN、LN、IN、GN、SN、PN、BGN、CBN、FRN、SaBN）
最新发布
03-15
### 不同深度学习归一化方法的特点及对比 #### 批量归一化 (Batch Normalization, BN) 批量归一化是一种广泛应用于卷积神经网络的技术，它通过对每一批数据进行标准化来减少内部协变量偏移。这种方法在大、中批处理场景中表现出色，在多种视觉任务上具有良好的泛化能力[^1]。然而，当批次大小较小时，BN 的性能会显著下降，因为此时估计均值和方差的准确性较低。 #### 层归一化 (Layer Normalization, LN) 层归一化是对单一样本的所有特征维度计算均值和标准差来进行规范化的方法。相比 BN，LN 对于小批量训练更加稳定，因为它不依赖于批次统计信息。这种特性使得 LN 成为序列建模任务（如自然语言处理）的理想选择[^2]。 #### 实例归一化 (Instance Normalization, IN) 实例归一化针对的是图像风格迁移领域的问题，其中每个样本被独立地按通道进行归一化操作而不考虑其他样本的影响。这有助于保留输入图片的空间结构并突出纹理细节。 #### 组归一化 (Group Normalization, GN) 组归一化将通道划分为若干组并对每一组单独执行归一化过程。这种方式既避免了 BN 中的小批量问题又保持了一定程度上的效率提升；因此适用于各种规模的数据集以及不同的硬件环境下的模型部署需求。 #### 谱归一化 (Spectral Normalization, SN) 谱归一化的目的是控制权重矩阵的最大奇异值以实现 Lipschitz 连续性的约束条件，主要用于生成对抗网络(GANs)的研究当中。通过限制判别器函数的变化范围可以有效缓解模式崩溃现象的发生概率。 #### 幂次归一化 (PowerNorm, PN) 幂次归一化引入了一个额外参数 k 来调整激活值分布形状从而达到更好的优化效果。相比于传统的 BN 或者 LN 方法来说，它可以更灵活地适应不同类型的任务要求。 #### 双重分组归一化 (Biased Group Normalization, BGN) 双重分组归一化扩展了普通的 GN 结构，允许在同一时间应用两个不同类型的归一化策略——即先做全局级别的再局部级别或者反过来顺序也可以互换。这样的设计能够进一步增强表达力同时维持数值稳定性。 #### 条件批量归一化 (Conditional Batch Normalization, CBN) 条件批量归一化允许外部信号(比如类别标签或其他上下文信息)动态调节归一化过程中使用的缩放和平移因子 gamma 和 beta 。这对于构建可解释性强且交互友好的 AI 应用程序非常有用。 #### 频率响应归一化 (Frequency Response Normalization, FRN) 频率响应归一化旨在解决传统归一化技术可能破坏原始信号频域特性的缺陷。具体而言，它是基于傅里叶变换后的幅度谱定义新的归一化准则，进而更好地保护高频成分免受不必要的抑制作用影响。 #### 自适应批量归一化 (Self-Attention Batch Normalization, SaBN) 自适应批量归一化结合注意力机制来自动生成适合当前 mini-batch 特征表示的最佳归一化方案。该方法不仅提高了收敛速度还增强了最终预测精度水平。 ```python import torch.nn as nn class CustomNormalization(nn.Module): def __init__(self, norm_type='bn'): super(CustomNormalization, self).__init__() if norm_type == 'bn': self.norm_layer = nn.BatchNorm2d(num_features=64) elif norm_type == 'ln': self.norm_layer = nn.LayerNorm(normalized_shape=[64]) # Add other normalization types here... def forward(self, x): return self.norm_layer(x) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

钱多多先森

你的鼓励，是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值