【AI面试】BN（Batch Norm）批量归一化

已于 2024-11-06 20:45:25 修改
阅读量1k 收藏 5
点赞数
CC 4.0 BY-SA版权
分类专栏： 7天快速通过AI/CV面试 文章标签： batch 深度学习 人工智能
于 2023-04-02 16:17:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wsLJQian/article/details/126375702
批量归一化（BN）是为了解决深度学习中内部协变量转移问题，加速训练并提高模型性能。BN通过计算批次数据的均值和方差进行归一化，然后应用可学习的参数进行调整。它通常应用于全连接层和卷积层的激活函数前。在推理阶段，使用训练阶段统计的全局均值和方差。BN与Layer Normalization（LN）的区别在于BN沿通道维度归一化，而LN对每个样本的所有通道进行归一化。BN在图像处理中表现良好，而在NLP中，LN可能更合适。

文章目录


在提到批量归一化的面试问题时候，一般会以以下几种形式提问：

  1. 为什么要引入BN？
  2. BN解决了什么问题？
  3. BN的公式是怎样的？
  4. BN公式中，有哪些参数是可学的？
  5. BN中，均值和方差的尺寸shape是什么样子的？
  6. BN在训练阶段和验证阶段，有什么不同？

本文就围绕上述的问题，展开来说，希望对你有帮助。如果真有，麻烦给个赞👍，支持一波。

后面的内容主要是学习了沐神的视频，进行了一些理解和补充。感兴趣的可以直接去看原视频，视频链接：批量归一化【动手学深度学习v2】

一、批量归一化概念

1.1、为什么要引入批量归一化

1

我们都知道：

  1. 数据forward阶段，从下往上，输入数据，得到结果做预测
了解本专栏 订阅专栏 解锁全文 超级会员免费看
深度强化学习算法是否需要使用批归一化(Batch Norm) 或归一化，文本带你详解。
丨汀、的博客
07-15 2480
深度强化学习算法是否需要使用批归一化(Batch Norm) 或归一化，文本带你详解。
BN层在人工智能领域的发展：人工智能的未来
AI天才研究院
01-15 210
1.背景介绍 人工智能（Artificial Intelligence, AI）是计算机科学的一个分支，研究如何让计算机模拟人类的智能行为。在过去的几十年里，人工智能技术的发展取得了显著的进展，包括自然语言处理、计算机视觉、机器学习等领域。在这些领域中，深度学习（Deep Learning）是一种特别重要的技术，它能够自动学习出复杂的模式，并且在许多任
面试收获——对于Batch Normalization不要只会公式了！！！！
JustWantToLearn的博客
05-10 978
batch normalization 深度理解
归一化层（BatchNorm、LayerNorm、InstanceNorm、GroupNorm）
weixin_42382758的博客
04-28 2443
以下图床。
批量归一化
优快云不再更新
07-22 1349
批归一化 批量归一化的基本动机 神经网络训练过程的本质是学习数据分布，然而随着网络训练的进行，每个隐层的参数变化使得后一层的输入发生变化，从而每一批训练数据的分布也随之改变，致使网络在每次迭代中都需要拟合不同的数据分布，增大训练的复杂度以及过拟合的风险。 批量归一化(Batch Normalization) 批量归一化方法是针对每一批数据，在网络的每一层输入之前增加归一化处理（均值为0，标准差为1），将所有批数据强制在统一的数据分布下，即对该层的任意一个神经元（假设为第kkk维）x‾k\overli
深度学习面试题21：批量归一化(Batch Normalization,BN)
weixin_30852451的博客
07-24 571
目录 　　BN的由来 　　BN的作用 　　BN的操作阶段 　　BN的操作流程 　　BN可以防止梯度消失吗 　　为什么归一化后还要放缩和平移 　　BN在GoogLeNet中的应用 　　参考资料 BN的由来 BN是由Google于2015年提出，论文是《Batch Normalization_ Accelerating Deep Netwo...
机器学习面试题之——BatchNorm
cuiy0818的博客
07-28 2610
一、背景知识 1、机器学习领域有个重要假设：IID独立同分布假设，就是假设训练数据和测试数据是满足相同分布的，这是通过训练数据获得的模型能够在测试集获得好的效果的一个基本保障。而BatchNorm就是在深度神经网络训练过程中使得每一层神经网络的输入保持相同分布。 2、Covariate Shift 指训练数据和测试数据存在分布的差异性。这会给网络的泛化性和训练速度带来了影响，我们经常使用的方法...
【AI知识】归一化、批量归一化 、 层归一化 和 实例归一化
最新发布
想买很多漂亮衣服但是买不起的博客
12-22 1808
【AI知识】归一化、批量归一化 、 层归一化 和 实例归一化
【AI知识点】批归一化（Batch Normalization）
AI完全体
10-07 1994
批归一化（Batch Normalization） 是一种重要的神经网络正则化方法，它通过标准化每一层的输入来加速神经网络的训练过程并提高模型的稳定性。其主要优势包括减少梯度消失和梯度爆炸、加快收敛速度，并提供一定的正则化效果，降低过拟合风险。批归一化在卷积神经网络和全连接神经网络中非常流行，几乎是现代深度学习模型中的标准组件。
Pytorch 批量归一化（Batch Normalization）
负负得正的博客
04-27 5015
Pytorch 批量归一化（Batch Normalization） 0. 环境介绍 环境使用 Kaggle 里免费建立的 Notebook 教程使用李沐老师的 动手学深度学习 网站和 视频讲解 小技巧：当遇到函数看不懂的时候可以按 Shift+Tab 查看函数详解。 1. 批量归一化 1.1 简介 深度卷积神经神经网络训练中的问题： 损失出现在最后，后面的层训练较快 数据在最底部 底部的层训练较慢 底部层一变化，所有都得跟着变 最后的那些层需要重新学习多次 导致收敛变慢 批量归一化就是去解决在学
[DeeplearningAI笔记]第二章3.4-3.7-Batch NormalizationBN算法
泛用演化计算、通用人工智能优化模型
10-29 1837
Batch NormalizationBatch归一化觉得有用的话,欢迎一起讨论相互学习~Follow Me3.4正则化网络的激活函数 Batch归一化会使你的参数搜索问题变得很容易,使神经网络对超参数的选择更加稳定.超参数的范围会更庞大,工作效果也更好.也会使你更容易的训练甚至是深层网络. 对于logistic回归来说 正则化原理u=1m∑xi(求出平均值u)x=x−uσ2=1m∑(xi)2(求出
基于Tensorflow实现BN（Batch Normalization）的代码，供大家参考！！
03-24
基于Tensorflow实现BN（Batch Normalization）的代码，供大家参考！！
深度学习笔记（二十三）Batch Norm归一化
我的技术栈碎碎念空间
01-28 589
一、Batch Norm归一化激活函数 首先回顾一下归一化输入是怎样的？ μ=1m∑i=1x(i)\mu=\frac{1}{m}\sum_{i=1} x^{(i)}μ=m1​i=1∑​x(i) x=x−μx=x-\mux=x−μ σ2=1m∑i=1x2\sigma^2=\frac{1}{m}\sum_{i=1} x^2σ2=m1​i=1∑​x2 x/=σx/=\sigmax/=σ 现在考虑归一化激活函数，通常做法是归一化计算得到的z(i)z^{(i)}z(i)而不是a(i)a^{(i)}a(i)。 μ=1
BatchNorm 批量归一化层的解释与代码实现
weixin_45928096的博客
01-09 1697
BatchNorm 批量归一化层的解释与代码实现 我们通常既然训练时使用了批量归一化，那么测试时也该使用批量归一化吗？如果不用，由于数据的量纲问题，训练出的模型参数很可能在测试时不准确。如果用，考虑极端情况：测试的数据只有一个数据时的预测也会出现问题（相当于没有用）。所以，在测试时我们还是需要对数据使用批量归一化。在训练时，把原先训练时用到的批量均值和方差替换成整个训练数据的均值和方差。但当训练数据很大时这个计算开销很大。 因此我们用平均移动的方差来近似计算，即BN层moving_mean和variance
批量归一化 BatchNormalization
SHIDA优快云的博客
04-16 398
一、Batch Normalization 如果设定了合适的权重初始值，则各层的激活值分布会有适当的广度，从而可以顺利地进行学习。 为了使各层拥有适当的广度(激活值分布不能太广，易饱和)，Batch Normalization 试图在学习过程中“强制性”地调整激活值的分布会怎样呢？缓解内部协变量偏移。 直观地说，机器学习就是要拟合数据的分布。在训练过程中，神经网络参数...
Batch Normalization批量归一化
知识搬运工的博客
03-31 4324
深度学习捷报连连、声名鹊起，随机梯度下降成了训练深度网络的主流方法。尽管随机梯度下降法对于训练深度网络简单高效，但是它有个毛病，就是需要我们人为的去选择参数，比如学习率、参数初始化、权重衰减系数、Drop out比例等。这些参数的选择对训练结果至关重要，以至于我们很多时间都浪费在这些的调参上。那么学完这篇文献之后，你可以不需要那么刻意的慢慢调整参数。 批量标准化一般用在非线性...
转——深度学习之BN算法（Batch Normailization）
diezhai9068的博客
05-31 539
Batch Normalization 学习笔记 原文地址：http://blog.youkuaiyun.com/hjimce/article/details/50866313 作者：hjimce 一、背景意义 本篇博文主要讲解2015年深度学习领域，非常值得学习的一篇文献：《Batch Normalization: Accelerating Deep Network Training by...
批量归一化(Batch normalization)
qq_53183473的博客
05-06 1766
动手学深度学习笔记-批量归一化
极智AI | 从部署的角度看 bn 和 in 算子
极智视界
09-18 802
本文介绍一下从部署角度来看 bn 和 in 的实现与对比。
Caffe中Batch Norm与卷积层的融合实现
首先，从标题“Merge_bn_Caffe:合并Batch Norm Caffe”可以看出，该项目的核心目标是针对Caffe框架中的BatchNorm机制进行优化处理。在标准的Caffe实现中，BatchNorm通常由两个独立的层构成：一个是`BatchNorm`层，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

钱多多先森

你的鼓励，是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值