【深度学习】归一化总结

一只雨儿出墙来

于 2019-07-11 22:19:24 发布

阅读量2.7k

点赞数

CC 4.0 BY-SA版权

文章标签：深度学习

本文链接：https://blog.youkuaiyun.com/yukun_zhang/article/details/95527882

本文总结了深度学习中的几种归一化技术，包括Batch Normalization (BN)，GroupNorm，InstanceNorm，LayerNorm以及Switchable Norm。BN有助于防止梯度消失，加快模型收敛，但对batch size敏感。GroupNorm按通道分组进行归一化，适用于batch size较小的情况。InstanceNorm主要用于风格迁移任务。LayerNorm在RNN中表现突出，不依赖batch size。Switchable Norm允许网络动态选择合适的归一化方式。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

)

1.BatchNorm

BN在batch的维度上norm，归一化维度为[N，H，W]，对batch中对应的channel归一化：即是将同一个batch中的所有样本的同一层特征图抽出来一起求mean和variance。一般来说每GPU上batch设为32最合适；
优点：防止梯度消失，加快模型收敛（导数最大区），允许网络使用更高的学习率。可作为一个正则化器，减少对dropout的需求。
缺点：
（1）对batchsize的大小比较敏感，由于每次计算均值和方差是在一个batch上，所以如果batchsize太小（16），则计算的均值、方差不足以代表整个数据分布（梯度更新方向不确定）
（2）训练和测试时一般batchsize不一样，一般都是训练的时候在训练集上通过滑动平均预先计算好平均-mean，和方差-variance参数。在测试的时候，不再计算这些值，而是直接调用这些预计算好的来用，但是，当训练数据和测试数据分布有差别是时，训练机上预计算好的数据并不能代表测试数据，这就导致在训练，验证，测试这三个阶段存在inconsistency。
（3）RNN等动态网络（输入序列不定长࿰

最低0.47元/天解锁文章