G1D41-BN是什么、优缺点、位置和数量

一、BN

今天发现resnet要用BN，学习一下BN的优缺点、使用位置和数量

（一）是什么

https://www.cnblogs.com/guoyaohua/p/8724433.html
对于每个隐层神经元，把逐渐向非线性函数映射后向取值区间极限饱和区靠拢的输入分布强制拉回到均值为0方差为1的比较标准的正态分布，使得非线性变换函数的输入值落入对输入比较敏感的区域，以此避免梯度消失问题。

（二）优缺点

https://zhuanlan.zhihu.com/p/152288153

(1)BN有两个优点
第一个就是可以解决内部协变量偏移，简单来说训练过程中，各层分布不同，增大了学习难度，BN缓解了这个问题。当然后来也有论文证明BN有作用和这个没关系，而是可以使损失平面更加的平滑，从而加快收敛速度。

第二个优点就是缓解了梯度饱和问题（如果使用sigmoid这种含有饱和区间的激活函数的话），加快收敛。
(2)缺点
https://blog.youkuaiyun.com/weixin_45074568/article/details/123153624
在使用小batch size的时候不稳定【此处不理解】
  如上所述，batch normalization必须计算平均值和方差，以便在batch中对之前的输出进行归一化。如果batch大小比较大的话，这种统计估计是比较准确的，而随着batch大小的减少，估计的准确性持续减小。

（三）BN的位置和数量

https://blog.youkuaiyun.com/weixin_43848469/article/details/104120388
位置就是relu之前；
数量是每次卷积后就可以使用

model = models.Sequential()  #需要使用
model.add(Conv2D(64, (3, 3), padding='same', input_shape=x_shape, kernel_regularizer=regularizers.l2(weight_decay)))
model.add(BatchNormalization())
model.add(Activation('relu'))

#model.add(Dropout(0.3))

model.add(Conv2D(64, (3, 3), padding='same',kernel_regularizer=regularizers.l2(weight_decay)))
model.add(BatchNormalization())
model.add(Activation('relu')) #you need to use the Batch