YOLOv5模型剪枝压缩(3)-剪枝策略2

已于 2022-09-02 10:16:41 修改
阅读量3.8k 收藏 39
点赞数 1
分类专栏： 目标检测 文章标签： 深度学习 剪枝
于 2021-06-05 00:11:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/IEEE_FELLOW/article/details/117575354
版权
本文介绍了一种针对Bottleneck模块的创新剪枝方法，通过裁剪整个模块来提升效率。提出在训练中使用L1正则针对BN层权重，促使激活更接近于0。详情可见作者的GitHub更新：https://github.com/midasklr/yolov5prune。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在之前介绍了基于Network Slim的bn层通道剪枝策略。

但是因为Bottleneck模块中shortcut的存在需要shortcut和残差有相同的size，所以没对有shortcut的Bottleneck模块进行裁剪，但是实际上，我们可以把整个残差都裁剪掉，如图：

可以将右边的残差分支两个Conv都裁剪，这样就吧整个Bottleneck都裁剪掉了，这样可以更大化地剪枝。

在之前的基础上，在训练中，我们给第二个Conv模块的BN层权重添加L1正则，使得激活逼近0.

未完待续。。

相关代码和实验结果已经更新: https://github.com/midasklr/yolov5prune

Yolov5模型压缩-slim network
weixin_43864650的博客
09-20 339
Yolov5模型压缩方法slim network
深度学习模型（yolov5）压缩
qq_55068938的博客
12-01 2413
当我们利用深度学习训练出我们的模型之后，下一步会做什么呢？无疑是去测试我们的模型，精度达到标准既可发布上线，那发布之后我们会发现的问题是->推理时间慢，那我们该怎么做呢？更改网络为轻量级，如YOLOv5s、YOLOv5n通过技术手段进行模型加速，如tensorrt，openvino等资金雄厚的情况下，可以考虑使用更高算力的卡模型压缩接下来，就给大家介绍下发现的一个用于模型压缩的工具–>PaddleSlim
讲解YOLOv5模型剪枝压缩
牛肉胡辣汤
12-08 932
YOLOv5是由ultralytics团队开发的目标检测模型，具有高精度和高效率的特点。YOLOv5采用了轻量化网络结构，并利用PaddlePaddle等框架进行了实现，成为了目标检测领域的研究热点之一。模型剪枝压缩是一种通过减少模型参数、减少冗余计算、优化模型结构等手段来减小模型体积和计算复杂度的方法。在实际应用中，模型剪枝压缩能够提升模型的推理速度、减少模型的存储空间和计算资源的消耗，使得模型能够在更多的设备上进行高效部署。
YOLOv5：对yolov5n模型进一步剪枝压缩
FriendshipTang的博客
09-06 1874
Python、PyTorch、YOLOv5、YAML、模型剪枝、模型压缩
YOLOv5模型剪枝压缩(2)-YOLOv5模型简介和剪枝层选择
IEEE_FELLOW的博客
06-03 2万+
本项目基于最新yolov5分支 v5.0(https://github.com/ultralytics/yolov5/releases/tag/v5.0) xian
YOLOv11模型压缩术-剪枝量化一条龙推理速度提升5倍实战.pdf
02-16
该文档【YOLOv11模型压缩术-剪枝量化一条龙推理速度提升5倍实战】共计 26 页，文档支持目录章节跳转同时还支持阅读器左侧大纲显示和章节快速定位，文档内容完整、条理清晰。文档内所有文字、图表、目录等元素均显示...
YOLOv8模型优化：量化与剪枝的实战指南
10-04
本文将详细介绍如何对YOLOv8模型进行量化和剪枝，并提供实际的代码示例。 量化和剪枝是提高YOLOv8模型部署效率的重要技术。通过合理的量化和剪枝策略，可以显著减少模型的大小和提高推理速度，同时尽量保持模型的...
YOLOv3-手部检测-训练测试-模型剪枝-模型压缩
03-13
该压缩包文件的主题围绕着YOLOv3在手部检测上的应用、模型的训练与测试、以及模型优化的两个重要方面——模型剪枝和模型压缩。下面将分别详细介绍这些知识点： 1. **YOLOv3手部检测**：YOLOv3使用了一种基于卷积...
深度学习模型压缩-YOLOv11量化剪枝与推理加速全流程.pdf
02-16
该文档【深度学习模型压缩-YOLOv11量化剪枝与推理加速全流程】共计 36 页，文档支持目录章节跳转同时还支持阅读器左侧大纲显示和章节快速定位，文档内容完整、条理清晰。文档内所有文字、图表、目录等元素均显示正常...
算法部署-对mobilev2-yolov5s进行剪枝+蒸馏-并进行NCNN+TensorRT部署-附详细流程+原理教程-优质算法
10-18
首先，模型剪枝是一种减少神经网络冗余的技术，它通过去除权重较小、对输出影响不大的连接来简化网络结构。这种技术可以有效地减少模型参数，从而降低模型大小和运算负担。在进行剪枝时，通常需要定义一个剪枝标准，...
Pruned-YOLO:使用模型修剪方法获得基于YOLOv5的紧凑模型Pruned-YOLOv5
03-25
修剪YOLO 使用模型修剪方法获得紧凑模型，即基于YOLOv5的Pruned-YOLOv5。 注意： 1.该项目基于 。 首先将其安装。 然后，使用此处提供的模型配置文件（ coco_yolov5l.yaml ）和网络模块定义文件（ common.py ）替换原始的对应文件。 2.参考 ，我们还使用次梯度方法进行稀疏度训练（ sparsity.py ）。 此外，稀疏训练和微调相结合以简化修剪流程。 在训练过程中，我们介绍了软掩膜策略和稀疏因子余弦衰变。 3.使用train_sr.py进行稀疏火车，可以直接进行修剪，而无需进行微调。 4.请把prune_channel_v5_weightingByKernel.py和prune_layer_v5_weightingByKernel.py放在主目录（ / yolov5 / ）中。 前者用于通道修剪，后者用于层修剪。 模型修剪可以由他们
YOLOv5模型压缩：综述
shengweiit的博客
08-29 939
近年来，研究人员一直 致力于改进YOLO目标检测器。自其问世以来，已经推出了八个主要版本的YOLO，旨在提高其准确性和效率，尽管YOLO的明显优点使其在许多领域得到了广泛应用，但是资源有限的设备上部署他存在挑战。网络剪枝、量化和知识蒸馏三大类利用模型压缩方法的丰硕成果，如降低内存使用和推理时间等，使他们成为在硬件受限的边缘设备上部署大型神经网络时受到亲耐，甚至可以说是必要的方法。通过这样做，我们识别出在适应YOLOv5的剪枝和量化压缩中存在的差距，并提供这一领域进一步探索的未来方向。
目标检测 YOLOv5 - 模型压缩
二分掌柜的
10-21 4978
什么是剪枝 在一棵树中，把不重要的枝条剪掉，就是剪枝 园丁的手艺是不同的，不同的园丁剪的效果不同。 做模型的剪枝与园丁干得工作是一模一样，先看一个回归实例 拟合数据的结果有正合适，欠拟合，过拟合 直线就是欠拟合，一个每个数据点都经过的曲线就是过拟合了 再看他们的数学表达式，多项式的最高次数是不同的，剪枝就像去掉上图中3次方项和4次方项 剪枝方法多，因为把不重要的东西去掉，在定义什么东西不重要，各家有各家的方法 如果把项剪的太多了，曲线就变成值线了，这不是我们想要的。 当过拟合的时候，剪太多就把树枝剪
yolov5模型压缩心得
qq_32582681的博客
07-29 1427
模型压缩
YOLOv5模型剪枝压缩
热门推荐
IEEE_FELLOW的博客
05-25 3万+
基于yolov5 v5.0分支进行剪枝，采用yolov5s模型，原理为Learning Efficient Convolutional Networks Through Network Slimming（https://arxiv.org/abs/1708.06519）。 yolov5s是非常优秀的轻量级检测网络，但是有时候模型依然比较大，使得我们不得不缩减网络输入大小，但是单纯降低输入来减少运算，例如640降低到320，对检测效果损失很大，同时模型体积依然是14M左右，所以可以通过添加L1正则来约束BN
yolov5模型压缩之模型剪枝
litt1e的博客
07-16 1万+
稀疏剪枝
yolov5实战之模型剪枝
2301_78834737的博客
07-10 1117
模型剪枝（Model Pruning）是一种通过减少神经网络模型中的冗余参数和连接来优化模型的方法。它旨在减小模型的大小、内存占用和计算复杂度，同时尽可能地保持模型的性能。模型剪枝的基本思想是通过识别和删除对模型性能影响较小的参数或连接，以达到模型精简和优化的目的。方法包括剪枝后的参数微调、重新训练和微调整体网络结构等。直观的理解就是像下图这样。模型剪枝可以在不显著损失模型性能的情况下，大幅度减少模型的参数量和计算量，从而提高模型的部署效率和推理速度。
yolov5--4.0--模型压缩
い天然呆的博客
03-16 2571
yolov5的4.0版本也是更新了有一段时间了，具体更新内容如下; nn.SiLU() activations replace nn.LeakyReLU(0.1) and nn.Hardswish() activations throughout the model, simplifying the architecture as we now only have one single activation function used everywhere rather than the two types
YOLOv5改进策略|YOLOv5 的模型压缩方法、模型压缩、剪枝、量化
sybh的博客
06-13 2468
作为一个基本问题，目标检测多年来一直是一个活跃的研究领域。对象检测的主要目标涉及从数据中识别和 定位感兴趣的对象FF某些给定图像中的不同类别。对象检测是许多其他高级计算机视觉任务 [1] 的基础，从语义 分割 [2] 到对象跟踪 [3] 到活动识别 [4]。近年来，卷积神经网络(CNN)等基于深度学习的方法在目标检测任务 中取得了最先进的性能。由于计算能力和尖端算法的进步，物体检测变得更加准确，从而实现了广泛的现实应 用。
yolov8模型剪枝与量化
最新发布
03-30
### YOLOv8 模型剪枝与量化技术详解 YOLOv8 是一种先进的目标检测框架，其性能优化可以通过模型剪枝和量化来实现。以下是关于这两种技术的技术细节及其实现方法。 #### 1. 模型剪枝 (Model Pruning) 模型剪枝是一种通过移除冗余参数减少模型大小并提高推理速度的方法。对于 YOLOv8 的剪枝过程可以分为以下几个方面： - **结构化剪枝** 结构化剪枝主要针对卷积层中的通道进行裁剪。通过对每一层的权重计算重要性得分（如 L1 范数），保留重要的通道而删除不重要的部分[^1]。这种方法能够显著降低模型复杂度而不明显影响精度。 - **非结构化剪枝** 非结构化剪枝则更精细地操作单个神经元或权值。虽然这种方式理论上可以获得更高的压缩率，但在实际部署中由于硬件支持有限，通常不如结构化剪枝实用。 - **工具链推荐** 对于 YOLOv8 的具体实施，可参考类似的开源项目 `midasklr/yolov5prune` 中所采用的技术路线，并将其适配到 v8 版本上。此过程中需要注意调整超参以适应新架构特性。 ```python import torch.nn as nn def prune_model(model, importance_metric=&#39;l1_norm&#39;, threshold=0.01): pruned_layers = [] for name, module in model.named_modules(): if isinstance(module, nn.Conv2d): # Focus on Conv layers. weight_copy = module.weight.data.abs().clone() if importance_metric == &#39;l1_norm&#39;: channel_importance = torch.sum(weight_copy.view(module.out_channels, -1), dim=1) mask = channel_importance.gt(threshold).float() # Create pruning mask based on thresholds. new_out_channels = int(torch.sum(mask)) if new_out_channels != 0 and new_out_channels < module.out_channels: pruned_layers.append((name, new_out_channels)) # Record changes. return pruned_layers ``` --- #### 2. 模型量化 (Model Quantization) 模型量化是指将浮点运算转换为低比特整数运算的过程，从而进一步减小存储需求以及加速推断时间。 - **Post-training quantization** 这种方式无需重新训练即可完成整个流程。它基于已有的预训练模型，在测试数据集上校准量化参数。PyTorch 和 TensorFlow 提供了成熟的 API 来简化这一环节的操作。 - **Quantization-aware training (QAT)** QAT 则是在原有网络基础上引入模拟量化的机制来进行微调，使得最终导出后的量化版本具备更好的泛化能力。相比单纯依赖 post-training 方法而言，该策略往往能取得更加理想的平衡效果。 ```python from torch.quantization import QuantStub, DeQuantStub class QuantizableYOLOv8(nn.Module): def __init__(self, original_model): super(QuantizableYOLOv8, self).__init__() self.model = original_model self.quant = QuantStub() self.dequant = DeQuantStub() def forward(self, x): x = self.quant(x) # Insert fake_quantize operation at the start of network. output = self.model(x) output = self.dequant(output) # Remove fake_quantize before returning results. return output # Example usage with PyTorch&#39;s built-in tools... model_to_be_pruned_and_quanted = ... # Load your pretrained yolov8 here. qat_ready_model = QuantizableYOLOv8(model_to_be_pruned_and_quanted) ``` --- #### 总结 无论是剪枝还是量化，都旨在提升资源受限环境下的效率表现。然而两者之间存在一定的取舍关系——过度追求极致压缩可能会损害原始预测质量；因此建议开发者依据应用场景灵活选取合适的方案组合加以应用。
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值