Batch Normalization

最新推荐文章于 2022-05-17 15:45:08 发布
原创 最新推荐文章于 2022-05-17 15:45:08 发布 · 188 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#batch #机器学习 #深度学习

批量归一化（BatchNormalization）是深度学习中用于优化训练过程的技术，它解决了不同维度数值差异大导致的梯度消失或爆炸问题，使训练更加稳定。通过输入特征的标准化，减小了内部协变量位移，加速了网络收敛。在前向传播中，对每个mini-batch的数据进行归一化，并在激活函数前后皆可应用。此外，通过引入可学习的参数β和γ，允许网络学习到不同的分布。在测试阶段，使用训练时所有mini-batch的指数加权平均值进行归一化。批量归一化是现代神经网络架构中不可或缺的部分，显著提升了模型的性能和训练效率。

Batch Normalization

要解决的问题

如果在不同的维度中的数值差异较大，会产生如图所示的情况：

  • 如果x1很小，当w1有改变Δw1时，结果y有改变Δe就会很小，于是所计算出来的梯度就会相对很小；
  • 如果x2很大，当w2有改变Δw2时，结果y有较大的改变，于是计算出来的梯度就会很大

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YjcyIJW0-1629901870384)(C:\Users\nth12\AppData\Roaming\Typora\typora-user-images\image-20210825212513953.png)]

以上的情况会使得训练变得十分困难！！

针对输入的特征归一化

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-A0Luf0V9-1629901870386)(C:\Users\nth12\AppData\Roaming\Typora\typora-user-images\image-20210825213220286.png)]

如图所示，假设现有R个训练样本的特征向量每个都是n维的：
x1,x2,x3⋯xR∈Rn x^1,x^2,x^3\cdots x^R \in R^n x1,x2,x3⋯xR∈Rn
对所有训练样本d的每个维度做如下的操作：
x^ir←xir−miδi \hat{x}_{i}^r \leftarrow \frac{x_i^r - m_i}{\delta_i} x^ir​←δi​xir​−mi​​

前向传播过程中的值归一化

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kNHCzox3-1629901870387)(C:\Users\nth12\AppData\Roaming\Typora\typora-user-images\image-20210825214117656.png)]

  • 如图所示，假设三个训练样本正通过同一个神经元，产生输出z1,z2,z3。与输入中的归一化执行相同的方式即可。
    • 注意此时左边的每个黑色的x长条是三个训练样本（经过输入的归一化后的），右边的三个z实际上是三个标量为三个训练样本通过权值为w1的神经元后的输出结果。
    • 激活前后执行均可
  • 但显然只可一个Batch计算一次上述结果，因为GPU没有足够多的内存容量一次装载所有的数据

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8UxZV5Ia-1629901870389)(C:\Users\nth12\AppData\Roaming\Typora\typora-user-images\image-20210825220543820.png)]

  • 除此之外，为了让归一化后的结果有不同的分布，可以做如下的修正

  • z^i=β+γz~i \hat{z}^i = \beta + \gamma \tilde{z}^i z^i=β+γz~i

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rlx2wh4W-1629901870389)(C:\Users\nth12\AppData\Roaming\Typora\typora-user-images\image-20210825222153094.png)]

  • 其中求和表示对一个midibatch中得到的所有向量进行求和，z(i)表示minibatch中第i个样本对应的向量（维度为当前层神经元的个数）。

测试时的归一化

  • 使用涵盖所有训练时minibatch的指数加权平均进行计算

    [外链图片转存中...(img-cvZKN3ET-1629901870390)]

  • 使用训练集的结果的指数加权平均来更新测试集

Bach Normalization
jasonzzj的博客
12-28 1万+
【文章一】 tensorflow中关于BN（Batch Normalization）的函数主要有两个，分别是： tf.nn.momentstf.nn.batch_normalization 关于这两个函数，官方API中有详细的说明，具体的细节可以点链接查看，关于BN的介绍可以参考这篇论文，我来说说自己的理解。 不得不吐槽一下，tensorflow的官方API很少给例子，太不人性化了
Batch Normalization、Layer Normalization、Group Normalization、Instance Normalization原理、适用场景和实际使用经验
我亦是行人
06-08 2144
Batch Normalization、Layer Normalization、Group Normalization、Instance Normalization原理、适用场景和使用经验
常见问题
nathan1025的博客
09-11 205
BN（Batch Normalization）层的作用 （1）加速收敛（2）控制过拟合，可以少用或不用Dropout和正则（3）降低网络对初始化权重不敏感（4）允许使用较大的学习率 如果我们使用去除相关性的算法，例如PCA和ZCA白化，数据不再是一个狭长的分布，随机分界面有效的概率就又大大增加了。 Google在ICML文中描述的非常清晰，即在每次SGD时，通过mini-batch来对相...
FAIR提出：重新思考BatchNorm中的"Batch"
阿木寺的博客
05-21 288
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达本文转载自：SmarterRethinking“Batch” in BatchNorm单位：FAIR（Yuxin Wu,...
深入解读Batch Normalization
m0_47355331的博客
05-17 1131
对BatchNorm的误解 （重点问题写在前面）如果你在看到这篇博客之前已经看了不少BatchNorm相关的博客或者知乎文章，相信你会看到不少对BatchNorm这样的描述：BatchNorm的作用是把每层神经网络的输出（输入）的分布强行拉回均值为0、方差为1的标准正态分布。首先，这种描述是错误的，如果BatchNorm的作用是这个，那不就把前面神经元学习到的数据分布给破坏了，这样反而学不到任何东西。因此作者引入了可训练参数γ\gammaγ和β\betaβ，使得数据的分布不会局限在均值为0、方差为1。第二个
batch normalization 和 layer normalization 在RNN（LSTM、GRU）上的TensorFlow实现
04-19
在深度学习领域，Batch Normalization（批量归一化）和Layer Normalization（层归一化）是两种常用的技术，用于优化神经网络模型的训练过程。它们的主要目标是通过规范化网络层的输入，来减少内部协变量偏移，提高...
Batch Normalization: Accelerating Deep Network Training by Reducing Internal.pdf
02-21
在本文中，Sergey Ioffe和Christian Szegedy两位作者提出了Batch Normalization（批量归一化）技术，主要解决深度神经网络训练过程中，随着前层参数变化导致各层输入分布改变的问题。这种现象被称为内部协变量偏移...
TensorFlow实现Batch Normalization
09-20
**TensorFlow实现Batch Normalization详解** Batch Normalization（简称BN）是一种在深度学习中用于加速训练和提升模型泛化能力的技术。它通过归一化每一层的激活值，确保网络在训练过程中能保持稳定的数据分布，...
精确率，召回率，F1值的理解
nth2000的博客
09-18 603
为了评估机器学习模型的精确度，引入P值和R值的概念。 定义P=#truepositives#predictedaspositivesP = \frac{\# true \quad positives}{\# predicted \quad as \quad positives }P=#predictedaspositives#truepositives​即精确度 定义R=#truepositives#actualpositivesR = \frac{\# true \quad positives}{\# a
对Lab3中一些StackOverflow问题的思考
nth2000的博客
06-29 254
子类重写父类的方法，父类中的同名方法该调用哪一个方法？ 这个问题源于软件构造Lab3中对于checkrep的误用，将错误的设置为了public类型的（子类型和夫类型均是public）。应该为private类型的才是正确的。 在Lab3中，子类型DutySet调用CheckRep检查表示不变性是否存在重叠。（Override的） 乍一看似乎没有任何问题。checkOverlap抛出异常，如果抛出了异常那么表示不变性不能通过。如果没抛出异常则是正常通过的。但是，我们跟踪下CheckOverlap的代码：
面向可维护的软件构造总结
nth2000的博客
06-26 397
计算机系统 大作业 题 目 程序人生-Hello’s P2P 专 业 计算机类 学　　 号 1190202028 班　　 级 1903010 学 生 牛天昊 　　　 指 导 教 师 史先俊 计算机科学与技术学院 2021年5月 摘 要 本文主要从hello程序的一步步诞生，运行，到最后终止的过程。从预处理，编译，汇编，链接，成为进程，存储体系以及最终的IO体系来多维度诠释hell
面向复用的软件构造技术学习笔记1
nth2000的博客
06-22 500
复用的几种类型 源代码级别的复用 模块级别的复用（类，抽象类，接口） 库级别的复用（API,包） 系统级别的复用（框架） 软件复用的定义 复用的成本（图示） 开发成本更高（足够高的适应性），但缺乏针对性 评估可复用性 复用的机会有多少？复用的场合有多少？ 复用的代价？ 软件复用的形态和层面 最主要在于代码层面，但是所有实体均可以。 复用的类型 -白盒复用：源代码可见，可以修改扩展 -黑盒复用： ...
leetcode 回文数
nth2000的博客
08-30 144
JAVA文件基础操作
nth2000的博客
05-17 237
文件操作 文件的输入： Scannner in = new Scanner(Path.of(文件名)); 文件的输出: PrintWriter out = new PrintWriter("文件名"); 然后像system.out.println一样操作Out即可。 注意:若要写入文件，必须在写入文件后调用Out.close() 文件名的格式为相对路径，也可以是绝对路径。参加JAVA核心技术卷1P61 ...
python解包打包初探
nth2000的博客
08-19 194
测试代码 def tester(*args,**kwargs): print(type(args)) for i in args: print(i) print(type(kwargs)) for i in kwargs: print(kwargs.get(i)) if __name__ == '__main__': batch = [(1,2),(3,4),(5,6)] print('第一次tester的结果').
分治算法-快速幂算法
nth2000的博客
11-11 1443
问题描述 如何在较快的时间内计算xnx^nxn,其中nnn可以是正数或负数，或0 暴力计算时间复杂度很高！ 考虑采用快速幂算法求解。 快速幂算法（Divide and conquer ） 只考虑nnn为正数的情况 对于负数的情况只需要先求出正数的情况，再求倒数 对于xnx^nxn的情形，考虑划分如下子问题 将xnx^nxn对半剖分，即分成解答x⌊n/2⌋x^{\lfloor n/2 \rfloor}x⌊n/2⌋和xn−⌊n/2⌋x^{n - \lfloor n/2 \rfloor}xn−⌊n/2⌋
二叉树中的最近公共祖先
nth2000的博客
11-11 928
对于二叉树中任意两个结点p和q，可能存在如下的情形： p是q的祖先，此时p是p和q的最近公共祖先 q是p的祖先，此时q是p和q的最近公共祖先 p和q没有父子关系。 如果设p和q的最近公共祖先为x。如果x是p和q的公共祖先(不一定是最近的),应该会满足如下条件： x == p，且x的左子树或右子树包含结点q x== q，且x的左子树或右子树包含结点p x的左子树包含结点q，且右子树包含结点p或相反。 考虑采用后续遍历来确定最近公共祖先。 当遍历到结点p（或q）时，递归向上返回说明已经找到了结点p(或
哈工大机器学习Week2知识点总结
nth2000的博客
09-14 424
决策树（cont）
Batch normalization
最新发布
07-23
批归一化（Batch Normalization）是深度学习中一种重要的技术，用于加速神经网络的训练过程并提高模型的稳定性。其核心思想是在训练过程中对每一层的输入进行标准化处理，使得数据分布更加稳定，从而缓解内部协变量偏移（Internal Covariate Shift）问题[^2]。 ### 概念 批归一化的基本步骤包括以下几个方面： 1. **标准化输入**：对于某一层的输入 $ x $，计算其均值 $ \mu_B $ 和方差 $ \sigma_B^2 $，然后对输入进行标准化： $$ \hat{x}^{(k)} = \frac{x^{(k)} - \mu_B}{\sqrt{\sigma_B^2 + \epsilon}} $$ 其中 $ \epsilon $ 是一个很小的常数，用于防止除零错误。 2. **可学习的参数**：在标准化之后，引入两个可学习的参数 $ \gamma $ 和 $ \beta $，用于缩放和偏移标准化后的值： $$ y^{(k)} = \gamma^{(k)} \hat{x}^{(k)} + \beta^{(k)} $$ 这一步确保了网络能够学习到适合当前任务的数据分布。 ### 应用 批归一化在深度学习中的应用非常广泛，尤其在卷积神经网络（CNN）和全连接网络（FCN）中效果显著。以下是一些典型的应用场景和优势： - **加速训练**：通过减少内部协变量偏移，批归一化可以显著加快模型的训练速度。实验表明，使用批归一化的模型可以在更少的迭代次数内达到相同的准确率。 - **提高模型稳定性**：批归一化有助于缓解梯度消失和梯度爆炸问题，从而提高模型的稳定性。它使得网络对初始化的敏感度降低，从而更容易训练深层模型。 - **减少对正则化的需求**：由于批归一化本身具有一定的正则化效果，因此在使用该技术时可以减少对其他正则化方法（如Dropout）的依赖。 - **提升模型性能**：在许多任务中，例如图像分类和目标检测，批归一化可以显著提升模型的性能。例如，在ImageNet数据集上，使用批归一化的模型通常可以获得更高的准确率。 ### 示例代码 以下是一个简单的示例，展示了如何在PyTorch中使用批归一化： ```python import torch import torch.nn as nn class SimpleNet(nn.Module): def __init__(self): super(SimpleNet, self).__init__() self.layer = nn.Sequential( nn.Linear(100, 256), nn.BatchNorm1d(256), nn.ReLU(), nn.Linear(256, 10) ) def forward(self, x): return self.layer(x) ``` 在这个示例中，`nn.BatchNorm1d(256)` 对全连接层的输出进行批归一化处理。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值