论文笔记：ThiNet——一种filter级的模型裁剪算法

最新推荐文章于 2025-02-05 20:51:10 发布
最新推荐文章于 2025-02-05 20:51:10 发布
阅读量5.7k 收藏 17
点赞数 2
分类专栏： deeplearning 学习笔记 论文 论文笔记 文章标签： 算法 deep-learning 论文笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wspba/article/details/77427960
版权
ThiNet是一种基于过滤器的深度神经网络压缩方法，考虑了裁剪对下一层的影响。它通过找到能近似原始输出的输入子集进行模型压缩，减少了计算量和参数数量，同时保持模型性能。该算法在VGG16和ResNet-50上取得了良好的实验结果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

论文地址：ThiNet: A Filter Level Pruning Method for Deep Neural Network Compression
本文地址：http://blog.youkuaiyun.com/wspba/article/details/77427960

前言

近两年来，有关模型压缩的论文越来越多，人们不再一昧的只追求强大的性能，而是开始慢慢的将模型的大小、运算量以及效率考虑进来，人们做的越来越多的是，在性能可接受的范围内，模型越小越好。这也说明了一点，深度学习模型已经开始被广泛的运用在了平常的生活当中，可以理解为现在的手机和以前的大哥大之间的关系。今天分享的一篇文章是今年ICCV的一篇入选论文，是南京大学的作品：ThiNet: A Filter Level Pruning Method for Deep Neural Network Compression，所提出的一种与以往方式不同的模型裁剪方案。

动机

Pruning Filters for Efficient Convnets、

最低0.47元/天 解锁文章
ThiNet: A Filter Level Pruning Method for Deep Neural Network Compression
安静到无声
06-15 620
ThiNet: A Filter Level Pruning Method for Deep Neural Network Compression 1. 架构 在给定预先训练的模型的情况下，将以预定义的压缩率逐层修剪该模型。框架总体如下： 滤波器选择。如果我们能用第(i+1)(i+1)(i+1)层输入中的一个通道子集来近似第i+1i+1i+1层的输出，可以将(i+1)(i+1)(i+1)层的其它通道（补集）剔除。同时，第(i+1)(i+1)(i+1)层的输入feature map的一个通道是由第iii层
ImportError: cannot import name ‘contextfilter‘ from ‘jinja2‘ 解决方案
热门推荐
weixin_43178406的博客
10-12 11万+
本文主要介绍了ImportError: cannot import name ‘contextfilter’ from ‘jinja2’ 解决方案，希望能对使用jupyter notebook的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
【剪枝】ThiNet: A Filter Level Pruning Method for Deep Neural Network Compression
Treasure Ashes
07-18 525
剪枝的思想可以被总结为一句话：（以某一标准）评估每一个神经元的重要性，移除不重要的那些神经元，再finetune整个网络来恢复精度。所以，剪枝一般有三个阶段：filter selection，pruning，与fine-tuning。...
【ThiNet: A Filter Level Pruning Method for Deep Neural Network Compression】论文笔记
我是一只比菜鸟还菜的菜鸟！
06-19 1855
[ICCV’17]论文链接：https://arxiv.org/pdf/1707.06342.pdf GitHub网址：https://github.com/Roll920/ThiNet 项目资料网址：http://lamda.nju.edu.cn/luojh/project/ThiNet_ICCV17/ThiNet_ICCV17_CN.html 这篇论文提出了一个高效且统一的CNN框架ThiNet，实现网络模型在训练与预测阶段的同时加速与压缩。关注filter级别的剪枝，将filter剪枝操作定义为一个
深度学习篇---计算机视觉任务&模型的剪裁、量化、蒸馏
最新发布
2301_79556402的博客
02-05 1359
以上就是今天要讲的内容，本文简单介绍了计算机视觉任务以及模型的剪裁、量化、蒸馏。
论文翻译 || 模型剪枝(2)——ThiNet: A Filter Level Pruning Method for Deep Neural Network Compression
magic_ll的博客
04-14 1105
https://arxiv.org/abs/1707.06342 Abstract 我们提出了一个高效统一的框架，即ThiNet，在训练和推理阶段同时加速和压缩CNN模型。我们关注的是过滤器级别的剪枝，也就是说，如果整个过滤器不那么重要，那么它将被丢弃。我们的方法不改变原有的网络结构，因此它可以被任何现成的深度学习库完美地支持。我们将滤波器剪枝作为一个优化问题建立起来，并揭示我们需要根据从下一层计算的统计信息来修剪过滤器，而不是当前的层，这ThiNet与现有的方法不同。实验结果表明了该策略的有效性，提高了
ThiNet: A Filter Level Pruning Method for Deep Neural Network Compression 论文学习
calvinpaean的博客
12-19 838
Abstract 作者提出了一个高效、统一的框架，在训练和测试阶段同步进行CNN模型的加速和压缩。本文聚焦于滤波器级别的裁剪，如果某滤波器不重要，就将其整个去除。该方法不会改变原有网络的结构，因而可以用现有的深度学习框架全部实现。作者将滤波器裁剪任务看作为一个优化问题，我们应该基于下一层的统计信息来裁剪滤波器，而不是当前层，这是ThiNet 和其它方法的不同之处。实验结果证明了该方法的有效性。作者...
学习笔记：深度学习（3）——卷积神经网络（CNN）理论篇
Morganfs的博客
04-12 11万+
深度学习笔记——CNN卷积神经网络理论篇。主要包括CNN的概念、基本原理、类型综述。算是比较完善的一篇文章了。
深度学习模型压缩算法综述（二）：模型剪枝算法
梁瑛平的博客
05-31 4834
深度学习模型压缩算法综述（二）：模型剪枝算法本文禁止转载联系作者：模型剪枝算法 ：L1(L2)NormFilterPruner：主要思想：修剪策略：微调策略：残差网络的处理：缺点：FPGMNormFilterPruner：主要思想：基本原理：几何中位数：信息估计中心：训练策略：SlimNormFilterPruner：主要思想：算法原理：模型剪枝工具 ：源码地址：工具介绍：pytorch-Autoslim2.01 Introduction 项目介绍① Architecture 系统架构2 Support 支
计算机视觉——一种现代方法（第二版）学习笔记
qq_33562982的博客
11-06 3057
计算机视觉——一种现代方法（第二版）学习笔记 第1章 摄像机的几何模型 如上左图所示，我们需要将一个空间点X映射到一个图像点x（3维->2维）上即 根据右上图我们很容易推到处下面的变换： 这个结论是将图像平面的原点设立在主轴与图像平面的交点上，而实际上我们默认的图像坐标系应该是位于图像的左上角，向下为x轴向右为y轴，因此我们这里进行一个坐标系调整（可以理解为在齐次坐标下对点进行一个平移...
ThiNet:A Filter Level Pruning Method for Deep Neural Network Compression论文笔记/翻译
weixin_43998119的博客
04-15 433
目录摘要一，介绍二，相关工作三，ThiNet3.1. ThiNet的框架新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 原文地址 为了写主题为剪枝的毕业论文来看这篇论文，时间紧迫有所取舍，不涉及剪枝的部分，总结性的废话适当
Pruning Filters for Efficient ConvNets.pdf
09-17
CNN在各种应用中的成功伴随着计算和参数存储成本的显着增加。最近减少这些开销的努力包括，在不损害原始精度的条件下的剪枝和压缩各层的权重。论文就是提出了对卷积层进行剪枝操作，然后进行retrain恢复精度。
深度学习模型压缩方法综述（三）
小时候贼聪明
07-24 2万+
目前在深度学习领域分类两个派别，一派为学院派，研究强大、复杂的模型网络和实验方法，为了追求更高的性能；另一派为工程派，旨在将算法更稳定、高效的落地在硬件平台上，效率是其追求的目标。复杂的模型固然具有更好的性能，但是高额的存储空间、计算资源消耗是使其难以有效的应用在各硬件平台上的重要原因。
深度学习 - 模型剪枝技术详解
weixin_47552266的博客
07-09 4980
模型剪枝（Model Pruning）是一种通过减少模型参数来降低模型复杂性的方法，从而加快推理速度并减少内存消耗，同时尽量不显著降低模型性能。这种技术特别适用于资源受限的设备，如移动设备和嵌入式系统。模型剪枝通常应用于深度神经网络，尤其是卷积神经网络（CNNs）。通过本文的讲解和代码示例，您应该对模型剪枝技术有了更全面的了解。模型剪枝是一种有效的模型压缩技术，可以显著减少模型的计算和存储需求。在实际应用中，需要根据具体需求选择合适的剪枝方法和剪枝比例，并通过微调恢复剪枝后的模型性能。
ICCV 2017 Learning Efficient Convolutional Networks through Network Slimming（模型剪枝）
I good vegetable a!
01-03 1440
前言 这篇文章是ICCV 2017的一篇模型压缩论文，题目为《 Learning Efficient Convolutional Networks through Network Slimming》。2019年有相当多的关于YOLOv3的剪枝开源工程，他们大多数的原理都来自于这篇论文，这篇论文的思想值得仔细品读。论文原文地址和Pytorch开源代码地址见附录。 基础原理 这篇文章不同于之前介绍的那...
深度学习的模型剪枝
yushibing717的博客
06-07 402
尽管剪枝带来了减少计算成本、降低存储需求和提升能效等优势，但也面临性能恢复、剪枝策略选择、稀疏矩阵计算和普适性等挑战。尽管剪枝带来了减少计算成本、降低存储需求和提升能效等优势，但也面临性能恢复、剪枝策略选择、稀疏矩阵计算和普适性等挑战。尽管剪枝带来了减少计算成本、降低存储需求和提升能效等优势，但也面临性能恢复、剪枝策略选择、稀疏矩阵计算和普适性等挑战。尽管剪枝带来了减少计算成本、降低存储需求和提升能效等优势，但也面临性能恢复、剪枝策略选择、稀疏矩阵计算和普适性等挑战。
模型剪枝-ICCV2017-ThiNet: A Filter Level Pruning Method
weixin_44214375的博客
11-29 625
卷积核层面的模型剪枝 本质方法。就是计算每一个filter上权重绝对值之和，去掉m个权重最小的filters，并同时去掉与其相关的特征图及下一层的所有相关的输入filters； 筛选需要裁减的卷积核步骤为： 1.对每个Filter，使用L1-Norm来计算每一个filter上权重绝对值之和； 2.对所得权重之和进行排序，和大小反映了相关filter的重要性； 3.选择前k个较大的权重之和保留，建立一个mask，大保留的部分为1，小于阈值的部分为0。 cfg_mask = [] layer_id = 0 #
AI实战：深度学习模型压缩：模型裁剪——Pruning with Keras
Zack的博客
08-24 6672
前言 上一篇文章 AI实战：深度学习模型压缩：模型裁剪——Pruning with Tensorflow 介绍了使用Tensorflow裁剪模型的方法，本文继续介绍使用Keras裁剪模型的方法及源码分享。 模型裁剪 1、《Train sparse TensorFlow models with Keras》 【TF官网方法】 核心思想：对neural network’s weight ten...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值