本文介绍了五种常用的归一化技术，包括BatchNormalization、LayerNorm、InstanceNorm、GroupNorm及SyncBatchNorm，并探讨了它们各自的优缺点及适用场景。
目录
（此图出自BGN论文）
Batch Normalization
论文：《Batch Normalization: Accelerating Deep Network Training b y Reducing Internal Covariate Shift》 2015年
链接： https://arxiv.org/pdf/1502.03167.pdf
BatchNorm2d 是最常见的归一化方法，对于输入格式为NHWC的输入，在每个mini-batch中对每个channel计算均值( E[x] ）和方差( Var[x] )，γ和β 是可训练的参数，是Vector类型，Vector长度为C。
目的：解决Internal Covariate Shift（ICS）问题，作用于CNN的forward过程，加速模型收敛速度和效果。
ICS产生原因：深度神经网络涉及到很多层的叠加，
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
