基于NISP (Neuron Importance Score Propagation)算法的网络剪枝

NISP算法提出从网络整体考虑神经元重要性,避免仅裁剪单层导致的误差累积。通过特征选择确定最终响应层的重要特征,反向传播计算全网神经元得分,以最小化裁剪后网络的FRL输出误差。实验显示NISP在多种数据集和网络结构上优于随机和基于幅度的剪枝方法。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

"NISP: Pruning Networks using Neuron Importance Score Propagation"这篇文章认为:若只单独考虑深度网络某一层或接连两层neurons的重要性,并裁剪掉看似不重要的neuron连接,可能会对后续层甚至更深层的响应输出产生影响,而且误差会逐层累积。因此需要从网络整体考虑neurons的重要性。


如上图所示,文章提出了NISP (Neuron Importance Score Propagation)算法:首先将深度网络中与分类器层相连的最后一个隐层定义为Final Response Layer (FRL),并通过Feature Selection方法决定FRL中各个Feature的重要性,而后将重要性得分反向传播至之前所有层(neurons),最后根据裁剪比率(pruning ratio)裁减掉具有低重要性得分的neurons。重要性反向传播及网络裁剪的总体原则,便是要确保FRL输出响应的重建误差最小,该误差可以用裁剪后网络FRL与原网络FRL之间的L1距离予以度量。网络裁剪比率是预先定义的超参数,依据给定的约束目标而定,如FLOPS、Memory Footprint、Accuracy等。如果在filter-level裁剪网络,那么裁剪后网络不会依赖特定平台或算法库的支持。

文章采用Inf-FS算法计算FRL中Feature的重要性,并通过反向传播得到整个网络neurons的重要性得分。重要性反向传播及裁剪问题可以定义为二值化掩码优化问题(binary integer programming),即通过寻求每一层最优的二值掩码矢量

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值