Normalization 总结

instanceNorm在图像像素上，对HW做归一化，用在风格化迁移；也就是每个图片的每个channel做归一化，
instanceNorm是最小单位，是每个图片的每个channel的，如果包含部分channels，则就是GroupNorm；
instanceNorm是最小单位，是每个图片的每个channel的，如果包含所有channels，则就是layerNorm；
instanceNorm是最小单位，是每个图片的每个channel的，如果包含多幅图片，则就是batchNorm；

Batch Normalization
batchNorm是在batch上，对NHW做归一化，可能是多幅图片一起做。取决于batch大小。每次一个channel的。

layerNorm在通道方向上，对CHW归一化，主要对RNN作用明显；
每个layer做归一化。（一个layer相当于所有channels的集合）

GroupNorm将channel分组，然后再做归一化； GN将channel方向分group，然后每个group内做归一化

SwitchableNorm是将BN、LN、IN结合，赋予权重，让网络自己去学习归一化层应该使用什么方法。