模型剪枝算法——L1正则化BN层的γ因子

ICCV在2017年刊登了一篇经典论文《 Learning Efficient Convolutional Networks through Network Slimming》。在神经网络的卷积操作之后会得到多个特征图，通过策略突出重要的特征达到对网络瘦身的目的。在该论文中使用的剪枝策略就是稀疏化BN层中的缩放因子 。

BatchNorm的本质是使输入数据标准化，关于0对称，数据分布到一个量级中，在训练的时候有利于加速收敛。

BatchNorm本来公式：

在实际应用时，引入了两个可训练的参数  、 。后文会详解介绍。

为什么说输入数据分布不均匀，网络分布不容易收敛，以sigmoid为例进行介绍。sigmoid函数在神经网络中常用来做激活函数，为了将非线性引入神经网络中，使得神经网络具有更加复杂的决策边界。

                        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​