基于NISP (Neuron Importance Score Propagation)算法的网络剪枝

最新推荐文章于 2024-11-07 10:59:40 发布

原创

最新推荐文章于 2024-11-07 10:59:40 发布 · 3.2k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #网络剪枝 #模型压缩

NISP算法提出从网络整体考虑神经元重要性，避免仅裁剪单层导致的误差累积。通过特征选择确定最终响应层的重要特征，反向传播计算全网神经元得分，以最小化裁剪后网络的FRL输出误差。实验显示NISP在多种数据集和网络结构上优于随机和基于幅度的剪枝方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

"NISP: Pruning Networks using Neuron Importance Score Propagation"这篇文章认为：若只单独考虑深度网络某一层或接连两层neurons的重要性，并裁剪掉看似不重要的neuron连接，可能会对后续层甚至更深层的响应输出产生影响，而且误差会逐层累积。因此需要从网络整体考虑neurons的重要性。

如上图所示，文章提出了NISP (Neuron Importance Score Propagation)算法：首先将深度网络中与分类器层相连的最后一个隐层定义为Final Response Layer (FRL)，并通过Feature Selection方法决定FRL中各个Feature的重要性，而后将重要性得分反向传播至之前所有层（neurons），最后根据裁剪比率（pruning ratio）裁减掉具有低重要性得分的neurons。重要性反向传播及网络裁剪的总体原则，便是要确保FRL输出响应的重建误差最小，该误差可以用裁剪后网络FRL与原网络FRL之间的L1距离予以度量。网络裁剪比率是预先定义的超参数，依据给定的约束目标而定，如FLOPS、Memory Footprint、Accuracy等。如果在filter-level裁剪网络，那么裁剪后网络不会依赖特定平台或算法库的支持。

文章采用Inf-FS算法计算FRL中Feature的重要性，并通过反向传播得到整个网络neurons的重要性得分。重要性反向传播及裁剪问题可以定义为二值化掩码优化问题（binary integer programming），即通过寻求每一层最优的二值掩码矢量，