渐进式剪枝及剪枝的必要性探讨

"To prune or not to prune: exploring the efficacy of pruning for model compression"这篇文章提出了渐进式的剪枝策略，该策略被应用于CNN、RNN与LSTM深度模型：

裁剪比率逐渐减小，直至目标压缩比，曲线斜率如下：

文章以复杂稀疏模型（large and sparse）与小而密集模型（small and dense，二者计算复杂度近似）为例，探讨了剪枝的必要性，结论表明复杂稀疏模型经过剪枝、精调，能够获得优于小而密集模型的推理精度。

文章采取的剪枝策略是connection-wise的非结构性稀疏剪枝（细粒度级别），需要稀疏算法库（如cuSPARSE）及特定存储格式（CSC或CSR）的支持，因此存在局限性，但是该方案已经在TensorFlow中获得了支持。

论文地址：https://arxiv.org/abs/1710.01878

GitHub地址：https://github.com/tensorflow/tensorflow/tree/master/tensorflow/contrib/model_pruning