[nlp] Batch Normalization(BN) 批量标准化

最新推荐文章于 2024-03-21 11:15:36 发布

心心喵

最新推荐文章于 2024-03-21 11:15:36 发布

阅读量766

点赞数

CC 4.0 BY-SA版权

分类专栏： nlp

本文链接：https://blog.youkuaiyun.com/Trance95/article/details/104619793

nlp 专栏收录该内容

116 篇文章 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

批量标准化（Batch Normalization）是为了解决深度神经网络中内部协变量移位问题，通过调整每层神经元的输入分布，加速训练过程并提高模型性能。该方法基于Mini-Batch SGD，通过标准化和重新缩放操作，使得网络在训练过程中各层输入保持稳定分布，从而提升训练速度并防止过拟合。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

参考：https://www.cnblogs.com/guoyaohua/p/8724433.html

相关论文：《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》　(通过减少内部协变量移位来加速深度网络训练)

机器学习领域有个很重要的假设：IID独立同分布假设，就是假设训练数据和测试数据是满足相同分布的，这是通过训练数据获得的模型能够在测试集获得好的效果的一个基本保障。
BatchNorm： 通过批标准化，在深度神经网络训练过程中使得每一层神经网络的输入保持相同分布的。
DL问题：神经网络深度加深，训练困难，收敛更慢： ReLU激活函数，Residual Network（BN）本质上也是解释并从某个不同的角度来解决这个问题的。

一、“Internal Covariate Shift(内部协变量移位)”问题

Mini-Batch SGD : 相对于One Example SGD的两个优势：梯度更新方向更准确；并行计算速度快 。BatchNorm是基于Mini-Batch SGD的 , BN就能解决很多SGD的缺点比如调参麻烦。

**covariate shift：**在训练过程中，因为各层参数不停在变化，所以每个隐层都会面临covariate shift的问题，也就是