【Pruning系列：二】Learning Efficient Convolutional Networks through Network Slimming｜YOLOv3实践 ｜Pytorch 总结

最新推荐文章于 2023-05-11 20:59:30 发布
原创 最新推荐文章于 2023-05-11 20:59:30 发布 · 2.4k 阅读 · 17 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pruning #network #ns #yolo #yolov3

本文介绍了YOLOv3模型的剪枝实践，包括基于Network Slimming的channel pruning和layer pruning，通过剪枝实现模型瘦身80%、速度提升100%，同时保持精度。介绍了不同剪枝策略的特点，如Residual结构的优化，并提供了相关项目的GitHub链接供参考。此外，还提及了适用于实时UAV应用的SlimYOLOv3模型。

几个基于YOLO的剪枝pytorch项目

YOLOv3-model-pruning

https://github.com/Lam1360/YOLOv3-model-pruning

YOLOv3模型剪枝，瘦身80%，提速100%，精度基本不变

Introduction

剪枝算法步骤

以下只是算法的大概步骤，具体实现过程中还要做 s 参数的尝试或者需要进行迭代式剪枝等。

  • 进行稀疏化训练
  • 基于 test_prune.py 文件进行剪枝，得到剪枝后的模型
  • 对剪枝后的模型进行微调

Results

- 参数数量 模型体积 Flops 前向推断耗时（2070 TI） mAP
Baseline (416) 61.5M 246.4MB 32.8B 15.0 ms 0.7692
最低0.47元/天 解锁文章
基于YOLOv3 + Network Slimming 在 Oxford Hand 数据集上的通道剪枝实战：模型缩小6倍，推理翻倍，精度几乎无损！
FJN110的博客
06-30 76
本文基于YOLOv3进行通道级剪枝优化，实现手部检测模型的高效部署。通过稀疏化训练和剪枝处理，在保持mAP精度（0.7750）的同时，将模型参数减少82%（10.9M）、FLOPs降低70%（9.6B），推理速度提升至2倍（7.7ms）。项目使用Oxford Hand数据集，提供完整训练、剪枝和测试流程，包括数据格式转换、稀疏正则化训练、自动通道剪裁和微调等关键步骤。实验表明剪枝后模型体积缩小至原1/6，为边缘设备部署提供高效解决方案，同时探讨了省略微调阶段的可行性及移动端部署扩展方向。
阅读笔记——Learning Efficient Convolutional Networks through Network Slimming
哇哇的博客
12-19 647
目录概述方法实验及指标实验细节实验指标 概述 CNN 模型在许多方面都取得了进展，但要将一些高精度 CNN 模型应用到实际场景中，还是面临一些问题： 模型大小：模型参数和结构需要保存在硬盘上，对于一些嵌入式系统来说是一个不小的负担； 运行时内存需求：推理时产生的中间变量需要地方存储； 计算操作次数：一个比较大的 CNN 网络在移动设备上的处理时间可能可以达到数分钟，这使得应用于实时应用不现实。 这些实际问题使得人们考虑对模型大小进行压缩。这篇文章提出，可以对 BN 层的尺度因子使用 L1 正则化，将 B
【模型剪枝】|Learning Efficient Convolutional Networks through Network Slimming
qq_35608277的博客
08-20 674
作用对象：BN层（和不重要的通道）作用方式： imposes sparsity-induced regularization on the scaling factors（比例因子）通过对批量归一化（BN）层中的缩放因子强加L1正则化将BN缩放因子的值逼近零，因为每个缩放因子对应于特定的卷积通道（或完全连接的层中的神经元），使得我们能够识别不重要的通道。这有助于在随后的步骤中进行通道层次的修剪。
learning Efficient Convolutional Networks through Network Slimming
椰子奶糖的博客
04-30 820
learning Efficient Convolutional Networks through Network Slimming 文章目录learning Efficient Convolutional Networks through Network Slimming总结 总结
模型压缩：Networks Slimming-Learning Efficient Convolutional Networks through Network Slimming
热门推荐
人工智能技术学习与分享
12-13 1万+
Network Slimming-Learning Efficient Convolutional Networks through Network Slimming（Paper） 2017年ICCV的一篇paper，思路清晰，骨骼清奇~~ 创新点： 1. 利用batch normalization中的缩放因子γ 作为重要性因子，即γ越小，所对应的channel不太重要，就可以裁剪（pru
[2017ICCV F] Learning Efficient Convolutional Networks through Network Slimming
JY丫丫
05-09 936
Learning Efficient Convolutional Networks through Network Slimming Learning Efficient Convolutional Networks through Network Slimming_网络_h__ang的博客-优快云博客 https://blog.youkuaiyun.com/h__ang/article/details/8...
【Pruning系列：一】Learning Efficient Convolutional Networks through Network Slimming
鹿鹿的博客
01-03 2714
NS 机构 Tsinghua,Intel motivation 训练中的剪枝 基于BN（Batch Normalization）层的广泛使用，在BN层加入channel-wise scaling factor 并对之加L1 regularizer使之稀疏，然后裁剪scaling factor值小的部分对应权重 用 BN 层的 y 来表示卷积核的重要程度，y 小对应卷积核重要性低 γ 非常小时...
网络模型剪枝-论文阅读-Network Slimming
AManFromEarth的博客
06-24 1890
论文地址：Learning Efficient Convolutional Networks through Network Slimming 这篇论文是在2017年的ICCV发表的，可以看做是之前讲过的channel pruning方法的变种，但是更加简单有效。 简单来说，这篇论文的剪枝方式是，给每个通道加上权重，在训练的过程中使用L1正则化对通道权重进行稀疏化，然后对于最终通道权重低于阈值的通道剪枝，最后重新训练得到剪枝模型。论文非常聪明的就是对batch normliization(BN)层的γ\ga
YOLOv3-训练-修剪.zip
最新发布
11-26
YOLOv3-训练-修剪YOLOv3-训练-修剪的Python3.6、Pytorch 1.1及以上，numpy>...直接加载weights可以更好的收敛剪枝算法介绍本代码基于论文Learning Efficient Convolutional Networks Through Network Slimming (ICCV
【网络裁剪】——Learning Efficient Convolutional Networks through Network Slimming
怡宝2号
03-04 1361
转载自:https://blog.youkuaiyun.com/h__ang/article/details/89376079 论文链接：https://arxiv.org/abs/1708.06519 官方代码（Torch实现）：https://github.com/liuzhuang13/slimming 第三方代码（PyTorch实现）：https://github.com/foolwood/pytorch-slimming 摘要 在许多现实应用中，深度神经网络的部署由于其高额的计算成本变得很困难。在这篇论文.
Learning Efficient Convolutional Networks Through Network Slimming
qq_41823532的博客
01-04 404
【代码】Learning Efficient Convolutional Networks Through Network Slimming。
【论文阅读】Learning Efficient Convolutional Networks through Network Slimming
luolinll1212的专栏
01-20 2579
1 论文地址
【论文阅读】【剪枝】Learning Efficient Convolutional Networks through Network Slimming
weixin_50862344的博客
02-04 2528
【论文阅读】【剪枝】Learning Efficient Convolutional Networks through Network Slimming
Learning Efficient Convolutional Networks through Network Slimming
hello_dear_you的博客
05-11 742
基于BN进行通道剪枝算法学习
模型剪枝-ICCV2017-Learning Efficient Convolutional Networks through Network Slimming
weixin_44214375的博客
11-28 1665
方案目标 1）减小模型大小; 2）减少运行时内存占用; 3）在不影响准确率的情况下降低计算操作的数量。 方案实现 通过在网络中进行通道层次稀疏来实现 CNN部署限制 1）模型大小：CNN的强大表现力来自其数百万可训练参数。这些参数以及网络结构信息需要存储在磁盘上并在推理期间加载到内存中。例如，存储一个ImageNet上训练的典型CNN会占用超过300MB的空间，这对嵌入式设备来说是一个很大的资源负担。 2）运行时内存（占用情况）：在推理期间，即使批量大小为1，CNN的中间激活/响应占用的内存空间甚至可以比存
【论文阅读笔记】Learning Efficient Convolutional Networks through Network Slimming
时光机 °的博客
07-08 1万+
论文地址：Network Slimming 论文总结   本文提出了一种channel-level的裁剪方案，可以通过稀疏化尺度因子（BN层的scaling factor）来裁掉“不重要”的channel。   文中的方案为： 在训练时，对BN层的scaling factor施加L1L_1L1​正则化，在训练网络的同时得到稀疏化的尺度因子； 裁掉低于指定阈值的channel；【（1）设定裁剪的百分比；（2）依据百分比找到所有尺度因子对应的值作为阈值；（3）逐层进行裁剪】 对得到的模型进行fine-tune
模型剪枝：Learning Efficient Convolutional Networks through Network Slimming
微风❤水墨
02-25 329
论文：https://arxiv.org/abs/1708.06519 代码：https://github.com/liuzhuang13/slimming 简介 由于深度学习模型大小以及计算资源的限制，导致模型部署时受到了很大阻碍，为了解决这个问题，就形成了一个新的领域：模型压缩。常见的方法有：量化、剪枝、蒸馏等。 本文便是“剪枝”当中一篇非常经典且有效果的一篇文章。 相关工作 图片来自：https://www.codenong.com/cs106948573/ 图片来自：https:
Network Slimming-Learning Efficient Convolutional Networks through Network Slimming
shawnL1的博客
01-08 544
注：文章来自于我的博客shawnluo.com，欢迎访问~！ 作者：Zhuang Liu, Jianguo Li, Zhiqiang Shen, Gao Huang, Shoumeng Yan, Changshui Zhang 发表信息：Computer Vision and Pattern Recognition（2017） 一、问题动机 随着大规模数据集、高端的GPU和新型网络结构的出...
模型剪枝----Learning Efficient Convolutional Networks through Network Slimming
litt1e的博客
03-14 1626
模型剪枝是模型压缩中较为核心的方法，它可以清除网络中冗余的参数与计算量，让模型更加紧凑高效。下面我们介绍Learning Efficient Convolutional Networks through Network Slimming。 论文链接：https://arxiv.org/abs/1708.06519 官方代码（Torch实现）：https://github.com/liuzhuang...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值