归一化--bn/ln

下面这张图算是我见过讲归一化最清楚的图了
稍微补充一点2D,3D的BN

3D卷积输入[N,C,I,H,W]，BN对N,IHW维度
2D卷积输入[N,C,H,W]，BN对N,HW维度
对图片的初始化我理解也类似一个BN（少了第四步-弥补信息，不针对HW维度），也是对channel维度（RGB3个维度）
imagenet的 RGB模式

         std标准差：[0.229, 0.224, 0.225]

         mean均值：[0.485, 0.456, 0.406]

https://blog.youkuaiyun.com/u012811785/article/details/108461222

group norm
对同一个数据的HW，channel维度的一部分进行归一化处理

group conv
2D/3D group conv也是将不同channel维度组成一个group进行conv
深度可分离卷积使用了2D的group conv

layer norm
对同一个数据HW，C维度进行归一化处理
transformer中使用到了layer norm

dropout
在图像领域BN几乎代替了dropout，这几天看多模态方面的资料，发现多模态领域模态级别的dropout用的还是挺多的。

BN公式推导

https://blog.youkuaiyun.com/lx10271129/article/details/78984623