yukun_zhang的博客

原创 【深度学习】归一化总结

深度学习之归一化 1.BatchNorm2.GroupNorm3.InstanceNorm4.LayerNorm5.SwitchableNorm ) 1.BatchNorm BN在batch的维度上norm，归一化维度为[N，H，W]，对batch中对应的channel归一化：即是将同一个batch中的所有样本的同一层特征图抽出来一起求mean和variance。一般来说每GPU上batch设为...