YOLOv3剪枝压缩99.04%参数，精度不变

原创 已于 2022-08-22 14:45:18 修改 · 3.9k 阅读 · 42 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #计算机视觉 #神经网络

于 2020-03-29 11:13:45 首次发布
本文介绍基于LearningEfficientConvolutionalNetworksThroughNetworkSlimming论文的YOLOv3模型压缩方法，通过稀疏训练、裁剪和微调流程，极限压缩YOLOv3模型至2.4M，参数减少99.04%，仍保持良好检测性能。
部署运行你感兴趣的模型镜像

基于 Learning Efficient Convolutional Networks Through Network Slimming (ICCV 2017) 论文的模型压缩。

目前有很多的开源实现，基于各种方法对YOLOv3进行裁剪和压缩，例如：

[SlimYOLOv3]

[YOLOv3-model-pruning]

[YOLOv3-complete-pruning]

等等...

数据集

收费卡口的车辆车轮数据，2266训练集，530验证集。

原理

对于一个训练好的模型，会发现部分卷积核权重很小，因此相应的激活也会很小，这部分卷积核的贡献其实是很小的，裁剪这些卷积核后再微调是可以恢复到之前的精度，这是在未作任何限制情况下，如果对权重做某些限制，如L1正则，那么训练的参数会比较稀疏，更加利于裁剪。论文给出，在BN层的Scale层其实相当于对激活的一个线性变换，那么Scale层的Gamma做一个L1

正则，会学习到比较稀疏的Gamma，这部分Gamma会导致卷积通过BN的Scale层后输出很小，这样的通道是可以裁剪掉的，这就是论文的核心思想。详细原理参考相关论文。

裁剪流程

稀疏训练->裁剪->微调

其中最关键的当属稀疏训练。

实验过程记录

MetricmAPParametersInferenceModel Size/MParameters Decrease
orignal YOLOv30.899230615291190.0170246.50
pruned0.8994935897990.00742.499.04%

可以看到，极限压缩YOLOv3的大小仅仅2.4M，参数虽然少依然可以获得良好的性能，一方面是因为我们的检测任务相对单一和简单，类别比较少，原始的YOLOv3模型庞大，能够处理更多的复杂（COCO等）的检测任务，对于简单任务是不需要那么多参数的，实际测试发现，压缩后的模型在大多数任务上依然有很好的表现，但是在极端场景下的检测相对不那么鲁棒，鱼与熊掌不可兼得。

压缩后的模型实测效果如下：

项目代码：https://github.com/midasklr/YOLO-v3-caffe

您可能感兴趣的与本文相关的镜像

Yolo-v5

Yolo-v5

Yolo

YOLO（You Only Look Once）是一种流行的物体检测和图像分割模型，由华盛顿大学的Joseph Redmon 和Ali Farhadi 开发。 YOLO 于2015 年推出，因其高速和高精度而广受欢迎

YOLOv3——目标检测算法
AI天才研究院
08-20 822
作者：禅与计算机程序设计艺术 1.简介 人类视觉系统在追求准确性、实时性方面取得了长足的进步。然而，计算机视觉领域还有许多任务需要改进，其中最重要的任务之一就是目标检测(object detection)问题。近年来，基于深度学习的目标检测算法不断刷新传统算法的记录，被广泛应用于人脸、行人、车辆等场景下
YOLO系列之YOLOv3
qq_52937486的博客
11-08 1165
faster rcnn,SSD都是针对于anchor而言的，而yolo里是则对于anchor左上角点而言的，yolo结构里也提到，有三个预测特征层，每个预测特征层有不同的模板，下图假设是一个，则对每个anchor模板，都有四个边界框回归参数，分别对应tx,ty,tw,th。N*N是特征图的大小，常见的N13，26，52；l2损失，右上图l2损失是一样的，但是IOU不同，即损失不能很好的反映重合程度，故引入IOU Loss,计算公式如下，=-ln(IOU),还有一个IOU Loss=1-IOU。
RetinaNet模型解析
bblingbbling的博客
07-01 1423
Retinanet解析意义效果概览网络简介Focal Loss公式γ\gammaγ取值的影响训练细节 意义 1.解决训练过程中foreground和background类别极度不平衡的问题； 2.解决easy和hard样本的问题。 效果概览 网络简介 1.网络组成：Resnet + FPN + 2路FCN； 2.创新点：Focal Loss； 3.anchor：3中ratio{1:2, 1:1, 2:1}和3种size{20, 21/3, 22/3}，面积从322到5212，金字塔等级[P3, P4,
Yolov3
最新发布
2401_87432666的博客
10-19 1840
1、多尺度检测：YOLOv3在三个不同的尺度上进行检测，提高了模型对于不同大小物体的识别能力。2、在类别预测方面，YOLOv3采用了逻辑回归而非softmax，从而可以更好地处理多标签场景。3、更多的Anchor Boxes：YOLOv3使用了多达9个锚框（分布在三个不同的尺度上），相比YOLOv2更能准确地适应不同形状和大小的目标。4、更大的模型和更深的架构：YOLOv3使用了Darknet-53，一个比YOLOv2的Darknet-19更大、更深的网络架构，以获得更高的准确性。
yolov3模型压缩
juluwangriyue的博客
07-03 1860
目前有很多的开源实现，基于各种方法对YOLOv3进行裁剪和压缩，例如： SlimYOLOv3 YOLOv3-model-pruning YOLOv3-complete-pruning 因为我自己训练的yolov3模型是基于darknet的C语言版本训练的，生成的模型是.weights文件，一般模型压缩使用的都是pytorch或者tensorflow框架的。 于是第一步需要将.weights文件转换成pytorch模型pt文件。（相对tensorflow我更熟悉pytorch一点，所以就转换pytorch模
YOLOv3模型剪枝
qq_38109843的博客
07-09 5956
参考代码：https://github.com/Lam1360/YOLOv3-model-pruning https://github.com/coldlarry/YOLOv3-complete-pruning 剪枝代码解读：https://blog.csdn.net/just_sort/article/details/107089710 剪枝原理：https://openaccess.thecvf.com/content_iccv_2017/html/Liu_Learning_Efficient_Conv
精选资源
yolov8剪枝压缩模型源码.zip
04-25
《YOLOv8模型剪枝压缩技术详解》 在计算机视觉领域，YOLO（You Only Look Once）系列算法因其高效和准确的实时目标检测能力而备受关注。YOLOv8作为YOLO家族的最新成员，进一步提升了检测速度和精度。然而，随着模型...
精选资源
yolov8n-pose.pt 用 yolov8n-pose.onnx下载
03-29
YOLOv8n-Pose是YOLO（You Only Look Once）系列目标检测模型的一个变体，专门用于人体姿态估计。这个模型在YOLOv8的基础上进行了优化，使其能够同时完成物体检测和人体关键点定位的任务，这对于实时的人体分析和交互...
YOLOv3模型剪枝3.0.zip
06-06
YOLOv3模型剪枝3.0
YOLOv3通道+层剪枝，参数压缩98%，砍掉48个层，提速2倍
HanBlogs
12-10 7648
尽管目标检测新算法层出不穷，但在实际工程项目中不少52CV群友还是念着YOLOv3的好。将其部署到边缘设备等时，模型剪枝是非常有必要的，毕竟有原始模型有239M的参数，剪枝后往往也能提速不少。 YOLOv3模型剪枝，瘦身80%，提速100%，精度基本不变 YOLOv3剪枝再升级！ 上述剪枝是减少模型通道数，而今天向大家介绍的工程可以实现通道和层的双向剪枝，在oxford hand 数据集ha...
yolov3.zip
10-08
YOLO 仅仅使用卷积层，这种仅适用卷基层的网络我们称之为全卷积神经网络（Fully Convolutional Network）。YOLO 拥有 75 个卷积层，还有 skip connections 和 上采样 Upsampling 层。它使用步幅为 2 的卷积层对特征图进行下采样，而不是使用池化层，这有助于防止通常由池化导致的低级特征丢失。 作为 FCN，YOLO 对于输入图像的大小并没有要求。然而，在实践中，我们可能想要固定输入的大小，以防止后续一些问题的出现。这其中的一个重要原因是：如果我们希望按 batch 处理图像（batch 由 GPU 并行处理，这样可以提升速度），我们就需要固定所有图像的高度和宽度。这就需要将多个图像整合进一个大的 batch（将将许多 PyTorch Tensors 合并成一个）。
YOLOv3-手部检测-训练测试-模型剪枝-模型压缩
03-13
YOLOv3-手部检测-训练测试-模型剪枝-模型压缩
YOLOV3网络剪枝
热门推荐
识物专栏
10-09 1万+
YOLOV3剪枝 论文：Network Slimming-Learning Efficient Convolutional Networks through Network Slimming 剪枝项目参考https://github.com/tanluren/yolov3-channel-and-layer-pruning 主要思路 1、利用batch normalization中的缩放因子γ 作为重要性因子，即γ越小，所对应的channel不太重要，就可以裁剪（pruning）。 2
YOLOV3 剪枝
u010451780的专栏
06-07 1008
参考代码：https://github.com/Lam1360/YOLOv3-model-pruning https://github.com/coldlarry/YOLOv3-complete-pruning，剪枝代码解读 https://github.com/tanluren/yolov3-channel-and-layer-pruning 无人机数据集案例：https://blog.csdn.net/weixin_41397123/article/details/103828931 yolov5剪枝
【转载】YOLO3深度学习模型压缩与加速理论与实战（一）：模型剪枝
qq_42752888的博客
06-10 261
深度学习模型压缩与加速理论与实战（一）：模型剪枝
基于Pytorch框架下的YOLOV3剪枝算法实现
yx868yx的博客
05-04 1813
代码：https://github.com/Lam1360/YOLOv3-model-pruning 算法：https://arxiv.org/abs/1708.06519 ，代码基于论文 Learning Efficient Convolutional Networks Through Network Slimming (ICCV 2017) 进行改进实现的 channel pruning算法，...
深度学习模型（yolov5）压缩
qq_55068938的博客
12-01 2477
当我们利用深度学习训练出我们的模型之后，下一步会做什么呢？无疑是去测试我们的模型，精度达到标准既可发布上线，那发布之后我们会发现的问题是->推理时间慢，那我们该怎么做呢？更改网络为轻量级，如YOLOv5s、YOLOv5n通过技术手段进行模型加速，如tensorrt，openvino等资金雄厚的情况下，可以考虑使用更高算力的卡模型压缩接下来，就给大家介绍下发现的一个用于模型压缩的工具–>PaddleSlim
yolov3剪枝
03-29
### YOLOv3 模型剪枝方法概述 YOLOv3 是一种高效的实时目标检测算法，其模型结构复杂且参数量较大，在实际应用中可能面临计算资源受限的情况。因此，对其进行剪枝优化是非常必要的。以下是针对 YOLOv3 的剪枝方法总结： #### 数据集与模型准备 为了实现有效的剪枝操作，首先需要准备好训练数据集以及预训练好的 YOLOv3 模型。这一步骤类似于其他深度学习模型的准备工作[^1]。 #### 剪枝策略的选择 对于 YOLOv3 模型而言，常见的剪枝策略包括但不限于以下几种： - **通道剪枝**：通过移除不重要的卷积核来减少模型大小和计算开销。这种方法通常基于权重的重要性度量（如 L1 范数或 Taylor 展开法）来进行裁剪决策[^2]。 - **稀疏化剪枝**：使网络中的某些权值变为零从而形成稀疏矩阵，之后可以利用专门设计的数据结构存储这些稀疏矩阵以节省内存空间并加速运算过程[^3]。 #### 执行具体的剪枝流程 一旦决定了采用哪种类型的剪枝技术，则需按照如下方式实施具体的操作步骤： 1. 对原始未修剪过的版本进行全面评估以便获取基线精度； 2. 应用选定的技术手段去除冗余部分得到精简版架构； 3. 针对该简化后的体系再次开展一轮完整的再训练或者仅做少量迭代调整即可恢复大部分损失掉的功能表现水平； #### 后续处理——Fine-Tuning 和部署 完成上述初步瘦身动作后，往往还需要经历一段时间较为细致入微地调节阶段即 fine-tuning ，目的是让新构建出来的轻量化版本尽可能接近甚至超越原有全尺寸形态下的识别能力 。最后当一切就绪之时就可以考虑将其迁移到特定硬件平台上正式投入使用了 。 ```python import torch from yolov3 import YOLOv3Model def prune_model(model, pruning_ratio=0.5): pruned_layers = [] for name, module in model.named_modules(): if isinstance(module, torch.nn.Conv2d): # Focus on Convolutional Layers weight_copy = module.weight.data.abs().clone() mask = weight_copy.gt(torch.mean(weight_copy) * pruning_ratio).float() # Create Mask module.weight.data.mul_(mask) # Apply Mask to Weights pruned_layers.append(name) return pruned_layers # Example Usage model = YOLOv3Model(pretrained=True) pruned_layers = prune_model(model) print(f"Pruned layers: {pruned_layers}") ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值