【WACV 2021】神经网络整体剪枝：Holistic Filter Pruning for Efficient Deep Neural Networks

论文地址：

https://arxiv.org/abs/2009.08169

主要问题：

目前的剪枝算法通常是一种启发式的实践，并且其显著性分析需要大量人工分析；此外，逐层剪枝以及迭代剪枝和再训练的方案并不完善，因为这种方案没有考虑全局信息，导致在以后的迭代中裁剪后的不重要的卷积可能变得再次重要

主要思路：

这篇文章提出了整体滤波器修剪算法（HFP），这是一种新的通用DNN训练方法，通过 BN 层的通道尺度因子来诱导稀疏性（这样就不需要额外的参数），并通过梯度下降优化全局目标，在单个层上分配剪枝方案，以满足所需的模型大小

具体实现：

基本符号：

这篇文章中的 DNN 只考虑加权和（卷积或全连接层）、BN层和非线性转换层

其中加权和可以写成：

a l = w l ∗ x l − 1 + b l a_{l}=w_{l} * x_{l-1}+b_{l}