Batch Normalization

最新推荐文章于 2022-05-17 15:45:08 发布

原创最新推荐文章于 2022-05-17 15:45:08 发布 · 188 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#batch #机器学习 #深度学习

笔记专栏收录该内容

17 篇文章

订阅专栏

批量归一化（BatchNormalization）是深度学习中用于优化训练过程的技术，它解决了不同维度数值差异大导致的梯度消失或爆炸问题，使训练更加稳定。通过输入特征的标准化，减小了内部协变量位移，加速了网络收敛。在前向传播中，对每个mini-batch的数据进行归一化，并在激活函数前后皆可应用。此外，通过引入可学习的参数β和γ，允许网络学习到不同的分布。在测试阶段，使用训练时所有mini-batch的指数加权平均值进行归一化。批量归一化是现代神经网络架构中不可或缺的部分，显著提升了模型的性能和训练效率。

Batch Normalization

要解决的问题

如果在不同的维度中的数值差异较大，会产生如图所示的情况：

如果x1很小，当w1有改变Δw1时，结果y有改变Δe就会很小，于是所计算出来的梯度就会相对很小；
如果x2很大，当w2有改变Δw2时，结果y有较大的改变，于是计算出来的梯度就会很大

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YjcyIJW0-1629901870384)(C:\Users\nth12\AppData\Roaming\Typora\typora-user-images\image-20210825212513953.png)]$

以上的情况会使得训练变得十分困难！！

针对输入的特征归一化

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-A0Luf0V9-1629901870386)(C:\Users\nth12\AppData\Roaming\Typora\typora-user-images\image-20210825213220286.png)]$

如图所示，假设现有R个训练样本的特征向量每个都是n维的：
$x^1,x^2,x^3\cdots x^R \in R^n$
对所有训练样本d的每个维度做如下的操作：
$x^ir←xir−miδi \hat{x}_{i}^r \leftarrow \frac{x_i^r - m_i}{\delta_i}$

前向传播过程中的值归一化

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kNHCzox3-1629901870387)(C:\Users\nth12\AppData\Roaming\Typora\typora-user-images\image-20210825214117656.png)]$

如图所示，假设三个训练样本正通过同一个神经元，产生输出z1,z2,z3。与输入中的归一化执行相同的方式即可。
- 注意此时左边的每个黑色的x长条是三个训练样本（经过输入的归一化后的），右边的三个z实际上是三个标量为三个训练样本通过权值为w1的神经元后的输出结果。
- 激活前后执行均可
但显然只可一个Batch计算一次上述结果，因为GPU没有足够多的内存容量一次装载所有的数据

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8UxZV5Ia-1629901870389)(C:\Users\nth12\AppData\Roaming\Typora\typora-user-images\image-20210825220543820.png)]$

除此之外，为了让归一化后的结果有不同的分布，可以做如下的修正
$z^i=β+γz~i \hat{z}^i = \beta + \gamma \tilde{z}^i$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rlx2wh4W-1629901870389)(C:\Users\nth12\AppData\Roaming\Typora\typora-user-images\image-20210825222153094.png)]$