论文Pruning Filters for efficient convnets解读

最新推荐文章于 2025-07-25 16:46:20 发布

原创

最新推荐文章于 2025-07-25 16:46:20 发布 · 477 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习

本文探讨了针对卷积层的过滤器剪枝方法，以减少计算量而不显著影响模型精度。通过计算过滤器权重的l1范数来决定剪枝，对每个卷积层去除不重要的过滤器及其对应的特征图，同时移除下一层的相关卷积核。提出两种策略：独立剪枝和贪婪剪枝，分别考虑每一层独立的剪枝决策和考虑前一层剪枝影响的全局策略。这种方法旨在提高深度学习模型的效率，特别是在资源受限的环境中。

由于常规基于大小对权重的剪枝可以对全连接层的参数显著较少，但可能对卷积层的计算量降低不够，因为剪枝后的网络的不规则稀疏。本论文对输出精度影响较小的卷积核以及与之相连的特征映射移除，达到计算量显著降低的效果。与权重剪枝不同的是，本文的方法不会导致稀疏连接模式。

过滤器Filters和特征图Feature maps的剪枝

$n_i$ 为第 $i$ 层卷积层的输入通道数， $h_i/w_i$ 为输入特征图的高/宽。卷积层将输入特征图 $Xi∈Rni×hi×wiX_i \in \mathbb{R}^{n_i \times h_i \times w_i}$ 转换为 $Xi+1∈Rni+1×hi+1×wi+1X_{i+1} \in \mathbb{R}^{n_{i+1} \times h_{i+1} \times w_{i+1}}$ 。这是通过 $n_{i+1}$ 个3D过滤器 $Fi,j∈Rni×k×k\mathcal{F}_{i,j} \in \mathbb{R}^{n_i \times k \times k}$