模型压缩-Channel Pruning via Optimal Thresholding

背景

通道剪枝通常使用预定义的全局阈值或从预定义的指标计算出的阈值来去除权重。基于预定义全局阈值的设计会忽略不同层和权重分布之间的差异，因此，它们经常可能由于过度剪枝或欠剪枝而导致性能欠佳。

核心观点

最优阈值（OT，Optimal Thresholding），每层剪枝使用不同的阈值。通过使用OT，保证精度的同时，可以有效减掉那些不重要的通道；