卷积神经网络通道剪枝算法小结

最新推荐文章于 2025-02-16 14:14:04 发布
最新推荐文章于 2025-02-16 14:14:04 发布
阅读量7.7k 收藏 85
点赞数 20
分类专栏： yolox 存算一体 文章标签： 神经网络 算法 剪枝
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Joejwu/article/details/120686607
版权
本文总结了卷积神经网络的通道剪枝算法，包括通道剪枝与卷积核剪枝的区别，并介绍了三种经典的通道剪枝方法，如Learning Structured Sparsity、inference-time方法和Network Slimming，这些方法在加速深度学习模型的同时保持性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、剪枝分类

        目前常见的模型剪枝算法主要分成两类，即非结构化剪枝与结构化剪枝；在不少的神经网络加速器中已经应用了这些剪枝算法，早期常见的是非结构化剪枝，例如MIT的韩松组的前几年的相关工作中就有此类应用，但是在设计中采用的特殊数据格式和额外的编码/解码会带来额外的硬件开销；

        这在基于传统系统架构的情况下，利用非结构化剪枝或者可以为NN模型的计算起到加速的作用，但是在存内计算架构下，基于ReRAM或SRAM这类紧耦合的电路结构中将很难去利用网络中存在的稀疏特征；

        为此，近年来关于剪枝的算法工作，越来越聚焦于各种结构化剪枝的方法，从剪枝尺度的角度来分的话，结构化剪枝主要包括：filter-wise、channel-wise、shape-wise以及block-wise pruning这四种；鉴于工作需要，后面主要介绍在硬件加速器中常见的通道剪枝算法。

二、通道(channel-wise)剪枝与卷积核(filter-wise)剪枝的区别

        其实从网络模型最终的呈现形式来看，通道剪枝与卷积核剪枝的效果是一样的，具体可以结合下面这张图来看：

         如果是通道剪枝的话，可以认为先剪掉输入B中的C个通道，而这会直接导致该层的所有卷积核也需要剪掉相应的通道，这样进行卷积的时候才能进行相应的匹配；这是通道剪枝对该层的影响，他还会对该层的上一层产生影响，我们知道࿰

最低0.47元/天 解锁文章
ICCV 2021 | 性能炸裂的通道剪枝算法ResRep(Keras复现)
u011447962的博客
09-29 4694
# -*- coding: utf-8 -*- """CompactorLayer layers. """ from __future__ import absolute_import from __future__ import division from __future__ import print_function from keras import activations from keras import initializers from keras import regularizers.
PRUNING-卷积神经网络剪枝
acx0000的博客
09-25 2144
本文提出了一种新的对神经网络中卷积核进行剪枝的算法以实现高效推理。作者交错进行基于贪婪标准的剪枝和通过反向传播的微调，实现了高效的剪枝，并且剪枝后的模型保持了良好的泛化能力。作者提出了一种基于泰勒展开的新的评价标准，该标准近似于修剪网络参数引起的代价函数的变化。与其他标准(例如，对用于细粒度分类的大型CNN使用卷积核或特征图的范数进行剪枝只使用了一阶梯度信息)相比，本文提出的标准性能更好。实验表明，本文算法在理论上可以在基本不影响模型准确率的情况下将3D卷积滤波器的大小压缩超过10倍，本文的算法也适用于基于
基于动态通道剪枝的实时语义分割模型优化
最新发布
2401_88972062的博客
02-16 391
定义重要性分数 \( S_c = \frac{1}{HW} \sum_{i=1}^H \sum_{j=1}^W |F_{c}(i,j)| \)（通道c的特征图绝对值均值）。- \( \mathcal{L}_{\text{CE}} \): 交叉熵损失，\( \mathcal{L}_{\text{Dice}} \): Dice损失增强边缘区域学习。- **图4**：对比原始模型与动态剪枝模型在复杂场景（如密集行人）的分割结果，展示动态剪枝保留细节的能力。
卷积神经网络轻量化教程之通道剪枝【附代码】
z240626191s的博客
04-19 6693
这两天自己手写了一个可以简单实现通道剪枝的代码，在这篇文章中也会对代码进行讲解，方便大家在自己代码中的使用。更新内容： 2023.04.21更新内容： 对上述剪枝代码进行了整理，同时加入了2D和3D权重的绘制。 如果还想学习YOLO系列的剪枝代码，可以参考我其他文章，下面的这些文章都是我根据通道剪枝的论文在YOLO上进行的实现，而本篇文章是我自己写的，也是希望能帮助一些想学剪枝的人入门，希望多多支持：
通道剪枝channel pruning
qq_45655136的博客
10-09 2029
论文：Channel Pruning for Accelerating Very Deep Neural Networks论文链接：https://arxiv.org/abs/1707.06168代码地址：https://github.com/yihui-he/channel-pruning这是一篇ICCV2017的文章，关于用通道剪枝channel pruning来做模型加速，通道剪枝是模型压缩和加速领域的一个重要分支。
深度卷积神经网络的剪枝方法
m0_73916791的博客
12-19 1174
通道级稀疏性指的是在网络通道上实现稀疏化，与权重级、核级或层级等不同级别的稀疏化相比，通道级稀疏具有自身的优点。这种方法可以间接减少网络的参数和运行时内存占用，并减少计算操作。网络瘦身后的结构类似于未修剪前的网络更瘦的版本，这更便于在传统的CNN平台上进行高效推理。
卷积神经网络压缩参数加速(一)---网络剪枝
huang_nansen的博客
01-06 7552
卷积神经网络的加速主要包括两类，硬件加速和软件加速，本篇将总结一下软件加速中网络剪枝所使用的方法。 软件加速可以分为压缩结构和压缩参数两种，压缩结构就是将模型结构简化，设计结构更小、参数更小的网络后，从头开始训练，之前博文中提到的MobileNet及ShuffleNet系列网络就是模型压缩的一种。 压缩参数是在已训练完模型的基础上，对参数进行筛选、转换已达到更少参数和更小结构的结果，包括网络剪...
基于剪枝与量化的卷积神经网络压缩算法
07-07
随着深度学习的发展，卷积神经网络作为其...实验数据说明，在对卷积神经网络权重剪枝与参数量化辶后，该算法可以做到在准确率损失较小的情况下，对模型进行冇α压缩，解决了卷积神经网络模型难以部署到移动端的问题。
卷积神经网络解析
08-21
### 卷积神经网络解析 #### 绪论 ##### 引言 随着人工智能技术的快速发展，深度学习作为其中的关键组成部分，已经广泛应用于图像识别、自然语言处理等多个领域。而卷积神经网络（Convolutional Neural Network, ...
卷积神经网络 图像处理,卷积神经网络特征提取
Supermen333的博客
10-13 2303
3、基于MATLAB 语言的网络训练与仿真建立并初始化网络% ================S1 = 24;在学习阶段应该用大量的样本进行训练学习，通过样本的大量学习对神经网络的各层网络的连接权值进行修正，使其对样本有正确的识别结果，这就像人记数字一样，网络中的神经元就像是人脑细胞，权值的改变就像是人脑细胞的相互作用的改变，神经网络在样本学习中就像人记数字一样，学习样本时的网络权值调整就相当于人记住各个数字的形象，网络权值就是网络记住的内容，网络学习阶段就像人由不认识数字到认识数字反复学习过程是一样的。
模型压缩之通道剪枝channel-pruning-master.zip
08-01
对训练好的模型进行通道剪枝（channel pruning），分为两步进行：第一步是channel selection，采用LASSO regression来做，其实就是添加了一个L1范数来约束权重，因为L1范数可以使得权重更加稀疏，这样就可以把那些稀疏的channel剪掉；第二步是reconstruction，基于linear least squares来约束剪枝后输出的feature map要尽可能和减枝前的输出feature map相等，也就是最小二乘值越小越好。
基于深层卷积神经网络的剪枝优化
10-15
随着近几年来深度学习的兴起，其在目标检测、图像分类、语音识别、自然语言处理等机器学习领域都取得了重大的突破，其中以卷积神经网络在深度学习中的运用较多。自VGGNet出现以来，深度学习逐渐向深层的网络发展，网络越来越深，这不仅增大了对硬件平台存储、运行内存的需求，还大大增加了计算量，对硬件平台资源的要求越来越高。因此将深度学习应用于嵌入式平台尤为困难。对此，通过对模型进行剪枝的方法将训练好的网络模型压缩处理，在基本保证准确率的情况下去除不重要的参数，缩减模型，减小网络的计算复杂度，将深度学习应用于嵌入式平台。
神经网络剪枝的研究进展状态（Neural Network Pruning）.pdf
03-10
社区缺乏标准化的基准和度量标准。这一缺陷非常严重，以至于很难对修剪技术进行比较，也很难确定这一领域在过去三十年中取得了多大的进步。为了解决这种情况，我们确定了当前实践中的问题，提出了具体的补救措施，并引入了ShrinkBench，这是一个开源框架，用于促进修剪方法的标准化评估。我们使用收缩台对各种修剪技术进行了比较，结果表明，它的综合评价可以防止在比较修剪方法时常见的缺陷。
NeurIPS 2018 | 腾讯AI Lab参与提出基于判别力的通道剪枝算法，让模型无损压缩
腾讯AI实验室
12-06 842
感谢阅读腾讯AI Lab微信号第60篇文章。AI领域顶会 NeurIPS 正在加拿大蒙特利尔举办，腾讯AI Lab实验室每日将深度解读一篇入选论文，今天是第4篇。Enjo...
神经网络模型压缩技术—剪枝
热门推荐
qq_59572329的博客
05-04 1万+
利用神经网络参数的冗余性和网络结构的冗余性精简模型,在不影响任务完成度的情况下,得到参数量更少、结构更精简的模型。被压缩后的模型计算资源需求和内存需求更小,相比原始模型能够满足更加广泛的应用需求。剪枝方法探索模型权重中的冗余， 并尝试删除/修剪冗余和非关键的权重。剪枝分为结构化剪枝和非结构化剪枝，两者区别在于是否会一次性删除整个节点或滤波器。
我总结了70篇论文的方法，帮你透彻理解神经网络的剪枝算法
deephub
09-10 8673
无论是在计算机视觉、自然语言处理还是图像生成方面，深度神经网络目前表现出来的性能都是最先进的。然而，它们在计算能力、内存或能源消耗方面的成本可能令人望而却步，这使得大部份公司的因为有限的硬件资源而完全负担不起训练的费用。但是许多领域都受益于神经网络，因此需要找到一个在保持其性能的同时降低成本的办法。 这就是神经网络压缩的重点。该领域包含多个方法系列，例如量化 [11]、分解[13]、蒸馏 [32]。而本文的重点是剪枝。 神经网络剪枝是一种移除网络中性能良好但需要大量资源的多余部分的方法。尽管大型神经网络已经
一文看懂神经网络剪枝算法
qq_19645269的博客
12-13 9993
1. 问题叙述   心血来潮写点最近做的成果，主要分成两个博客来进行阐述。研究生上了一年半看了不少关于剪枝神经网络方面的文章，但是有很少的文章能让人感觉到耳目一新，打通了任督二脉的感觉。   全连接神经网络在很多方面都用的很多，这我就不赘述了，全连接有很强的逼近能力但是很容易导致过拟合。官方的讲的话为： 机器学习与模式识别最核心的问题就是减小系统的复杂度（description -length
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Joejwu

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值