初入神经网络剪枝量化5（大白话）

最新推荐文章于 2025-09-07 12:32:01 发布

原创

最新推荐文章于 2025-09-07 12:32:01 发布 · 5.4k 阅读

CC 4.0 BY-SA版权

文章标签：

本文详细介绍了多种深度学习模型剪枝方法，包括基于权重绝对值、泰勒展开、重要性分数传播、比例因子正则化、数据驱动的参数裁剪、网络瘦身、几何中心裁剪、软剪枝、渐进式剪枝、快速子网评估、记忆与遗忘解耦、元学习剪枝和自动化模型压缩。这些方法旨在提高模型效率，减少计算资源需求，同时保持模型性能。

最近看了很多篇关于剪枝的文章，今天在这里简单介绍一下每一篇的思想。

①PRUNING FILTERS FOR EFFICIENT CONVNETS: https://arxiv.org/pdf/1608.08710.pdf 这篇论文之前也说过，在我看来就是非常经典的，非常传统的一篇剪枝的论文。

核心思想就是首先计算卷积核的绝对值和即 ∑|Fi,j| , (L1范数)，选择前m个最小的绝对值删除，认为权重的绝对值越小，则权重的作用也就越小。

②Pruning Convolutional Neural Networks for Resource Efficient Inference： https://arxiv.org/abs/1611.06440

这篇论文，数学好的感兴趣的可以看看。

核心思想是利用一阶泰勒公式展开，来逼近由于修剪网络参数引起的损失函数的变化。也就是用泰勒公式来逼近这个∆C(hi)

③NISP: Pruning Networks using Neuron Importance Score Propagation：https://arxiv.org/abs/1711.05908

这篇论文首先提出，现有的方法只考虑单个层或两个连续层的统计量(比如说，剪枝一层以最小化下一层的重建误差)，而忽略了深层网络中误差传播的影响，这种剪枝的方法只看局部，不看整体。所以作者认为，必须根据一个统一的目标，联合修剪整个神经元网络中的神经元。

本文的核心思想就是重要性分数传播(NISP)算法，将最终响应的重要分数传播到网络中的每个神经元指导剪枝。也就是在分类器的前一层（模型的倒数第二层），Inf-FS的滤波方法有效地计算了一个特征相对于所有其他特征的重要性，从而得到了最终响应层的神经元重要性。

再利用作者提出的传播算法，将重要性分数逐层反推回去，得到整个网络所有层的重要性分数，再根据所得到的分数以及预先设定的每一层的剪枝率对原有的模型进行剪枝，得到剪枝后的模型，再送入数据对于模型进行微调。

④ Neuron-level Structured Pruning using Polarization Regularizer：

作者自己介绍论文的视频：