深度学习中的Batch Normalization

最新推荐文章于 2025-05-29 21:53:57 发布

原创

最新推荐文章于 2025-05-29 21:53:57 发布 · 644 阅读

1 ·

CC 4.0 BY-SA版权

Batch Normalization通过规范化输入数据，解决不同样本梯度大小差异问题，提高深度学习模型训练的收敛速度。它调整输入数据的均值和标准差，确保数据分布相似，从而使得权重更新更均匀，加速模型的训练过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Batch Normalization
假设我们有两组training data： $x^1=[1,2,3,\cdots]$ $,x^2=[100,200,300,\cdots]$
当我们利用这组数据进行机器学习的时候，会发现对于第一笔数据 $x^1$ ，它的梯度会比第二笔数据 $x^2$ 的梯度要小得多，这时候的训练的收敛过程大致可以由下图表现出来。
这里写图片描述
两个权重跨度范围不一样，如果使用相同的学习率，则在 $w_1$ 的学习过程会非常慢，可能 $w_2$ 都收敛了，而 $w_1$ 还没有完成学习过程。
那如果我们对输入进行调整，使它们的分布大致相同的话，它们的收敛速度就会变得一致，收敛过程大概如下图：
这里写图片描述
这个时候两个权重的收敛速度大致可以趋于一致。
上面介绍的这种将数据分布相似化的过程暂且称为数据的规整化，它的做法其实很简单就