算法笔记(一)归一化之BN LN IN

前言

• 数据规一化的作用:
  • 调整数据分布,增加网络泛化度.
  • 若每批数据分布不同,神经网络需要不断调整模型权重去适应不同的数据分布,因此可以增加训练速度.即缓解Internal Covariate Shift问题,将数据分布拉到激活函数的非饱和区,具有权重/数据伸缩不变性的特点.
  • 起到缓解梯度消失/爆炸,加速训练,正则化的效果.
• 内部协方差转移internal convarite shift:
  • 简设模型函数 $y=f(\theta ,x)$,训练时,每层网络的输入数据分布会不断变化,导致参数$\theta$变化和y变化.
• 处理维度(B,C,H,W)数据时,
  • BN:在batch上,对(C,H,W)做归一化.
  • LN:在Channel上,对(B,H,W)做归一化.
  • GN:在Channel上对C分组,即对(G,H,W)做归一化,其中G*K=C,将K个GN结果合并为最终归一化结果.
  • IN:在图像像素上,对(H,W)做归一化.
  • SN:是将BN LN IN结合,赋予不同权重,让网络自己去学习归一化层应该使用什么方法.
  • WN:对模型权重进行归一化.
    
    

1.Batch Normalization(BN)

过程

1. 预处理:
   $x^{(k)}=\frac{x^{(k)}-E[x^{(k)}]}{Var[x^{(k)}]}$
2. 变换重构:
   $x^{(k)}={\gamma }^{(k)}{x}^{(}$