【BN层的作用】论文阅读 | How Does Batch Normalization Help Optimization?

原创 已于 2023-02-28 09:10:18 修改 · 718 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#论文阅读 #batch #深度学习

于 2023-02-27 17:05:36 首次发布
文章通过实验挑战了BatchNormalization（BN）层的主要作用是减少内部协变量偏移的观点。研究发现，BN层的成功并不在于控制ICS，而是通过平滑优化景观，促进网络训练。BN使得梯度变化更为平稳，从而加速收敛，提高训练效果。此外，作者提出BN并非平滑优化景观的唯一方法，其他正则化技术也有类似效果。

前言：15年Google提出Batch Normalization，成为深度学习最成功的设计之一，18年MIT团队将原论文中提出的BN层的作用进行了一一反驳，重新揭示BN层的意义
2015年Google团队论文：【here】
2018年MIT团队论文：【here】

How Does Batch Normalization Help Optimization?

原文观点

15年那篇论文里提出BN对网络起的作用是，减少了中间协变量偏移的影响 Internal Covariate Shift（ICS）。神经网络每一层在更新了权重之后的输出的分布是变化的，因此中间协变量也会有变化，通过将线性映射之后的输出“白化”，即控制均值为0，和方差恒为1，可以有效的将每一层网络学习的输入控制在一个相同的分布下，因此更有利于网络的学习。

反驳论点

这篇论文首先对原文引出的概念提出了两点质疑

第一，BN层的成功真的在于减少了中间协变量偏移吗？

Does BatchNorm’s performance stem from controlling internal covariate shift?

作者这里为了证明BN层的成功不在于减少了ICS，设计了三组参照实验，第一组不加BN，第二组加BN，第三组加了BN层之后又加上一个随机噪声，有着不同的均值和方差，作者旨在通过第三组实验，模拟加了BN层但是ICS更高的场景

这三组实验在VGG的网络上的表现如下

最低0.47元/天 解锁文章
归一化：Layer Normalization、Batch Normalization
u013250861的博客
02-22 1186
Normalization 有很多种，但是它们都有一个共同的目的，那就是把输入转化成均值为 0 方差为 1 的数据。我们在把数据送入激活函数之前进行 normalization（归一化），因为我们不希望输入数据落在激活函数的饱和区。同时，使得训练数据在训练过程中尽可能的保持和测试数据拥有相同的分布。 一方面，这样可以减少数据的偏差，避免在训练过程中出现梯度爆炸或是梯度消失的问题； 另一方面，这也是确保模型测试性能的重要假设之一。 二者提出的目的都是为了加快模型收敛，减少训练时间。 LN：Layer
理解Batch Normalization（批量归一化）
qq_38156104的博客
06-13 1997
https://www.cnblogs.com/shine-lee/p/11989612.html 写的非常详细，转载一下以作学习。
论文阅读|How Does Batch Normalization Help Optimization
Dodo
06-14 653
欢迎直接到我的博客查看最近文章：www.pkudodo.com。更新会比较快，评论回复我也能比较快看见，排版也会更好一点。 原始blog链接：http://www.pkudodo.com/2019/05/23/1-11/ 前言 Batch Normalization在2015年被谷歌提出，因为能够加速训练及减少学习率的敏感度而被广泛使用。 但论文中对Batch Norm工作原理的...
BN的真正作用，How Does Batch Normalization Help Optimization?
shiyonglian的博客
09-04 1322
与BN相关的两篇论文 Batch Normalization说BN的作用是因为解决了Internal Covariate Shift（ICS，内部输入分布变化）问题 MIT 的 NeurIPS18 How Does Batch Normalization Help Optimization?从数学推导以及实验方面证明了BN的真正作用 BN原论文的理解与分析 原始论文作者认为 BN 减小了所谓的 ...
B_implement-How-does-batch-normalization-helps-optimization
03-11
B_“批量归一化如何帮助优化？” tensorflow_keras_implementation 请注意，在使用gradient_predictiveness代码时，请谨慎使用您的方法。 我仅使用选定的图层来重现结果。 仅对于具有5个时期的VGGnet，创建的渐变文件将占用29.6 GB。 不适用于“ RAMionaire”或“ GPUnaire”的人。
How Does Batch Normalization Help Optimization?
seniusen的博客
04-30 538
1. 摘要 BN 是一个广泛应用的用于快速稳定地训练深度神经网络的技术，但是我们对其有效性的真正原因仍然所知甚少。 输入分布的稳定性和 BN 的成功之间关系很小，BN 对训练过程更根本的影响是：它让优化更加平滑。这种平滑让梯度更加可预测更加稳定，从而加速训练。 2. BN 和 internal covariate shift 在原始论文 Batch Normalization: Accel...
谈谈认识BN ：How Does Batch Normalization Help Optimization?
qq_40178291的博客
09-20 432
论文链接How Does Batch Normalization Help Optimization? How Does Batch Normalization Help Optimization? 这是一篇2018年NIPS的文章，主要讲了下BN怎么样帮助模型优化。 总结三点： a. 梯度更加稳定，更加可预测。 b. 计算梯度时可以采用更大的步长,允许我们使用更大的学习率来加速训练。 ...
来聊聊批归一化BN（Batch Normalization）层
AI算法修炼营的博客
04-29 3600
点击上方“AI算法修炼营”，选择加星标或“置顶”标题以下，全是干货一、Batch Normalization是什么？Batch Normalization (BN) 是最早出现的，也通常...
每天一篇论文 337/365 How Does Batch Normalization Help Optimization?
流浪机器人的博客
02-29 429
How Does Batch Normalization Help Optimization?(NIPSNeurIPS 2018) 摘要 批处理规范化（BatchNorm）是一种广泛采用的技术，它使深层神经网络（DNNs）的快速稳定训练。尽管BatchNorm的广泛应用，但其有效性的确切原因仍不清楚。人们普遍认为，这种有效性来源于控制训练过程中各层输入分布的变化，以减少所谓的“内部协变量转移”。在...
[水水博文-论文杂读]How Does Batch Normalization Help Optimization?
PeaceInMind的博客
06-05 1781
[2018-NIPS-oral] How Does Batch Normalization Help Optimization[paper] 这篇文章主要设计了多组对比实验去分析了Batch normalization(BN)成功的原因并在最后给出了一些证明。本文主要的观点是BN并不是去解决原始作者理解的internal covariate shift(ICS) 而是由于 BN reparame...
How does batch normalization help optimization,Bacth Normalization的原理
yeyin5539的博客
12-03 517
Bacth Normalization出现背景 深度神经网络的“深”意味着性能强，但同时也意味着训练难：“梯度消失”，“梯度爆炸”等问题难以解决。人们把这种问题的出现归咎于internal covariate shift（内部协变量变化）。为了解决这个所谓的ICS，2015年谷歌的Sergey Ioffe，Christian Szegedy（Batch Normalization: Acceler...
How Does Batch Normalization Help Optimization? (No, It Is Not About Internal Covariate Shift)
u013422403的专栏
06-20 1459
BN层论文总结
zz937211040的博客
09-18 3023
论文：Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift Motivation 题目中的Internal Covariate Shift指的是在训练过程中各层输入数据的分布随前一层网络参数的变化而变化的现象，这种现象会使训练深度神经网络变得更加复杂，需要耗费更多的时...
Batch Normalization
weixin_30709061的博客
04-15 109
通过 Batch Normalization 的方式 normalize 神经网络层的输入，以解决的 internal covariate shift 问题。 B={x1,…,m} 表示一个 mini-batch，其 normalized 之后（去均值，方差为1）的值为：xˆ1,…,m，再经过线性变换得 y1,…,m： 则 Batch Normaliz...
Batch Normalization本质：平滑优化空间
CristianoC
02-15 549
相信BN层对大家来说并不陌生，今天除了讲解BN被大家说的比较多的东西外会讲一下BN真正work的本质。今天之所以来讲解BN是因为早上听了一个旷视的讲座，听完之后发现旷视研究院在今年1月19日发表的用来解决小批量训练BN不稳定的问题论文：MABN。这对于一般用自己电脑来训练网络的我来说感觉是一个福音，可以减缓batch_size设小之后性能降低的问题（谷歌在一个月前也提出了改进的FRN：一种不依赖...
Batch Normalization (BN) 论文阅读笔记
icylling的专栏
09-12 2657
以前偷懒没有看BN的论文，现在找工作，每个面试官必问BN，必须花时间弄清BN的原理。奉劝找算法工程师的人一定要熟练掌握BN，不能只知道它在做标准化这么简单。 Batch Normalization（BN）解决的是Internal Covariate Shift （ICS）的问题。 Internal Covariate Shift在文中定义为 The change in the distrib...
关于bn层的几篇比较好的文章
jiangwei741的博客
03-13 6383
https://blog.youkuaiyun.com/huitailangyz/article/details/85015611 https://yichengsu.github.io/2019/12/pytorch-batchnorm-freeze/ https://zhuanlan.zhihu.com/p/56225304 http://blog.datumbox.com/the-batch-normalization-layer-of-keras-is-broken/#comment-22015
理解Batch Normalization系列3——为什么有效及11个问题（清晰解释）
soplars的博客
01-15 820
Batch Normalization为什么有效，以及11个值得讨论的问题。...
经典BN很NB，精读论文《Batch Normalization》
Flying Bulldog 的博客
06-28 2448
首先看摘要和结论，然后分析核心思想，最后总结表格内容和实验细节。训练深度神经网络是一个复杂的事实，在训练过程中每一层的输入分布随着前一层的参数变化而变化。这就需要较低的学习速率和仔细的参数初始化来减缓训练速度，并且使得具有饱和非线性的模型的训练变得非常困难。我们将这一现象称为内部协变量偏移（internal covariateshift），并通过归一化层输入来解决这个问题。我们的方法从将规范化作为模型架构的一部分和对每个训练小批量执行规范化来吸取其优点。Batch Normalization允许我们使用更高
Batch Normalization是什么？
最新发布
07-19
Batch Normalization（BN）是一种在深度神经网络中广泛使用的技巧，其主要作用是通过减少内部协变量偏移（Internal Covariate Shift）来加速训练过程并提高模型的泛化能力。内部协变量偏移是指网络中各层输入分布的...
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值