YOLOv8改进 | Conv篇 | 利用ModulatedDeformConv优化YOLO下采样(降低参数 + 网络层数 + 计算量)

已于 2024-09-16 01:04:50 修改
阅读量2.5k 收藏 13
点赞数 5
分类专栏： YOLOv8有效涨点专栏 文章标签： YOLO 深度学习 计算机视觉 人工智能 python YOLOv8 目标检测
于 2024-09-16 01:04:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/java1314777/article/details/142291443
版权

一、本文介绍

本文给大家带来的改进机制是ModulatedDeformConv来替换我们模型的下采样操作，其主要思想是通过引入可学习的空间偏移量，实现感受野的动态调整，增强卷积神经网络对图像中几何变换的适应能力。不同于其它的Conv这种可变形Conv主要就是通过学习下采样的位置来进行提高检测精度，但是这种方法可以减少计算量，网络层数，网络参数，所以这个方法还是比较推荐大家在自己数据集上尝试一下的。

欢迎大家订阅我的专栏一起学习YOLO！    

专栏目录：YOLOv8改进有效系列目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制 

目录

一、本文介绍

二、原理介绍

三、核心代码 

四、手把手教你添加本文机制 

4.1 修改一

4.2 修改二 

4.3 修改三 

4.4 修改四 

五、正式训练

了解本专栏 订阅专栏 解锁全文
YOLOv8改进 | 损失函数篇 | 2024高质量的目标检测边界框回归损失Unified-IoU、FocalUIoU、FocalInvUIoU（设置动态epoch参数）
Snu77的博客
10-11 3701
本文给大家带来的改进机制是最近新提出的高质量的目标检测边界框回归损失Unified-IoU，其通过动态调整模型对不同质量预测框的关注，优化目标检测中的边界框回归精度。UIoU引入了FocalBox方法，通过缩放预测框与真实框分配权重，并采用了退火策略（引入动态参数epoch），逐渐将模型的注意力从低质量预测框转移到高质量预测框，平衡了训练速度与检测精度。其还有一定的解决样本不平衡问题，同时该损失函数可以和现有的任何边界框回归损失函数进行结合，例如ShapeIoU和其结合可以形成二次创新，它是一种类似于之前
YOLOv8改进 | Conv篇 | 利用YOLO-MS的MSBlock轻量化网络结构（既轻量又长点）
走向CTO的路上...
06-17 741
本篇介绍如何利用YOLO-MS中的MSBlock轻量化网络结构，以在保证模型性能的前提下显著降低模型的计算复杂度。本篇介绍了一种利用 YOLO-MS 的 MSBlock 轻量化网络结构魔改 YOLOv8 Conv 结构的方法，该方法可以有效降低模型参数量和计算复杂度，在保证模型性能的前提下实现模型轻量化。
modulated-deform-conv:变形卷积2D 3D DeformableConvolution DeformConv调制火炬CUDA
04-19
modulated-deform-conv 该项目是一个 Pytorch C++ and CUDA Extension,采用C++和Cuda实现了deformable-conv2d,modulated-deformable-conv2d,deformable-conv3d,modulated-deformable-conv3d的forward function和backward function,并在Python中对其进行了包装。 This Project is a Pytorch C++ and CUDA Extension, which implements the forward function and backward function for deformable-conv2d, modulated-deformable-conv2d, deformable-conv3d,
YOLOv8改进策略|MobileNetv4替换主干网络
m0_61698839的博客
07-08 9887
yolov8的改进策略分享|采用mobilenetv4对yolov8的主干网络进行替换
探索深度学习新境界：模态可变形卷积模块——modulated-deform-conv深度解析与应用推荐...
gitblog_00102的博客
09-11 1220
探索深度学习新境界：模态可变形卷积模块——modulated-deform-conv深度解析与应用推荐 modulated-deform-conv deformable convolution 2D 3D DeformableConvolution DeformConv Modulated Pytorch CUDA ...
【超详细】基于YOLOv8改进1-Drone-YOLO复现
weixin_45679938的博客
05-20 7580
如下图，改进 3（加小目标分支）是提升最显著，为 6.8 个点，无人机小目标较多（P2 是 v8 自。改进 2：三明治结构（作者提出），相比于原先的 concat 操作，多融合了一个上层大尺度特征。（1）性能主要提升来自增加对小目标检测的 P2 层（即增加一个 160*160 的大尺度检测。如下图所示，在 yolov8-n 基础改进上，精度有所提升，参数变化不大，但是推理速度大幅。积核被合并为一个 3×3 卷积层。（2）增加 P2 分支与多支路融合虽然在模型参数方面略微增加，但推理耗时显著增加，不。
YOLOv8改进 | 自定义数据集训练 |利用ModulatedDeformConv优化YOLO下采样(降低参数 + 网络层数 + 计算量)（附完整代码 +部署教程）
weixin_51988935的博客
10-29 348
本文介绍了一种改进机制，即使用ModulatedDeformConv来替代模型中的下采样操作。ModulatedDeformConv的主要思想是通过引入可学习的空间偏移量来动态调整感受野，以增强卷积神经网络对图像中几何变换的适应能力。与传统的Conv方法不同，可变形Conv通过学习下采样位置来提高检测精度。而这种方法可以减少计算量、网络层数和网络参数，因此在自己的数据集上尝试一下是值得推荐的。此外还对对自定义数据集的训练以及半自动化标注的方法进行简单介绍，帮助力读者快速在自己的数据集上进行实验与应用。
YOLOv8改进 | Conv篇 | AKConv轻量级架构下的高效检测（既轻量又提点）
Snu77的博客
12-01 3万+
本文给大家带来的改进内容是AKConv（可变核卷积）是一种创新的卷积神经网络操作，它旨在解决标准卷积操作中的固有缺陷（采样形状是固定的），AKConv的核心思想在于它为卷积核提供了任意数量的参数和任意采样形状，能够使用任意数量的参数（如1, 2, 3, 4, 5, 6, 7等）来提取特征，这在标准卷积和可变形卷积中并未实现​​。(同时我修改了AKConv在训练到最后一个轮次报错和版本警告的问题RuntimeError: CUDA error: device-side assert triggered)
YOLOv8改进 | Conv篇 | 轻量级下采样方法ContextGuided（大幅度涨点）
走向CTO的路上...
07-09 1163
在YOLOv8中引入ContextGuided轻量级下采样方法可以显著提高模型的性能，尤其是在目标检测的精度方面。ContextGuided是一种基于注意力的下采样方法，它能够在降低模型计算量的同时，保留更多上下文信息，提升模型对目标特征的提取能力。ContextGuided轻量级下采样方法是一种有效的改进方案，可以显著提升模型的精度，使其成为目标检测、图像分类、语义分割等任务的优选方案。
Deformable ConvNets v2 Pytorch版源码讲解_2
weixin_40825364的博客
05-12 2443
接着上一章的来讲，上一章主要是介绍了一下可变形卷积v1和v2，红色字都是基于源码来的。那么这一篇文章就分析一下整个代码流程是怎么样的。代码是Pytorch版的，这里附上Github地址：https://github.com/4uiiurz1/pytorch-deform-conv-v2/blob/master/deform_conv_v2.py。这里再次感谢大佬的开源代码！ 先附上我debug时采用的代码。 if __name__ == '__main__': feature_map =.
可变形卷积(Deformable Conv)原理解析与torch代码实现
热门推荐
panghuzhenbang的博客
03-28 4万+
图6为可变形卷积示意图。图1所示为普通卷积在输入特征图上进行卷积计算的过程，卷积核大小为3*3，在输入特征图尺寸为7*7上进行卷积，将卷积核权重与输入特征图对应位置元素相乘并求和得到输出特征图元素，按一定方式滑动窗口就能计算得到整张输出特征图。图6所示，在input feature map上普通卷积操作对应卷积采样区域是一个卷积核大小的正方形（绿框），而可变形卷积对应的卷积采样区域为一些蓝框表示的点，这就是可变形卷积与普通卷积的区别。先来一张图感受一下，图3为标准卷积与可变形卷积的卷积示例。
【CVPR2022】《BasicVSR++: Improving Video Super-Resolution with Enhanced Propagation and Alignment》译读笔记
墨门
06-15 724
并且，SecondOrderDeformableAlignment类继承了ModulatedDeformConv2d，这表明BasicVSR++模型使用了可变形卷积。但是，根据对mmcv库的了解，ModulatedDeformConv2d实现的是DCNv2，因为在DCNv2中，引入了一个新的模块化参数（modulation scalar）来增强模型的表达能力，而。因此，可以推断，BasicVSR++在其网络模型中使用的可变形卷积（Deformable Convolution）应该是DCNv2。
aanet
qq_36767550的博客
08-17 707
AANet( (feature_extractor): AANetFeature( (conv1): Sequential( (0): Conv2d(3, 32, kernel_size=(7, 7), stride=(3, 3), padding=(3, 3), bias=False) (1): BatchNorm2d(32, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (2): ReLU(inplace=True) )
YOLOv8独家原创改进：轻量化自研设计双卷积，重新设计backbone和neck结构，完成涨点且计算量和参数量显著下降
12-12 2056
双卷积由组卷积和异构卷积组成，执行 3×3 和 1×1 卷积运算代替其他卷积核仅执行 1×1 卷积，YOLOv8Conv，从而轻量化YOLOv8，性能如下表，GFLOPs8.1降低至7.6，参数量6.3MB降低至5.8MB
YOLOv8魔改系列:使用RFAConv模块，实现YOLOv8快速涨点
qq_66386046的博客
03-23 4907
使用RFAConv模块代替Conv，实现YOLOv8快速涨点
目标追踪与定位实战笔记2-一生之敌：Cuda out of memory!
qq_33977080的博客
07-06 783
1. 环境配置 将代码从github上下载解压之后需要配置python环境，然后安装requirements.txt中的依赖，然后我们进入readme界面，下载好maskrcnn_benchmark，将其引入到项目文件夹中，第一个问题出来了，
如何把“自己的”网络中的conv2d替换为dcnv2
qq_17127427的博客
10-15 6686
1、dcnv2的实现测试了两种，一种是官方版dcnv2，git链接：https://github.com/CharlesShang/DCNv2.git，编译直接cd到DCNv2，然后./make.sh即可，第二种是mmcv.ops.modulated_deform_conv.ModulatedDeformConv2dPack 2、实验以resnet50、mnist训练为例 from torch_op.common import init_seed from torchvision.datasets i
报错：from .. import deform_conv_cuda
Lily's Blog
10-23 1万+
运行mmdetection的测试程序时，报错： File "/home/abing/anaconda3/lib/python3.6/site-packages/mmdet-0.6rc0+85c30cc py3.6.egg/mmdet/ops/dcn/functions/deform_conv.py", line 5, in from .. import deform_conv_cuda 解决办...
mmdetection(2)： DeformableConvNets(DCN)
冷夏的专栏
06-21 7639
先来点干货，基于pytorch的代码： https://github.com/4uiiurz1 DCN可以说是打破了传统的CNN，那到底是怎么搞的呢 v1： https://arxiv.org/abs/1703.06211 既然原始的只能提取特定区域，那我们给其加上个位移不就ok了 那位移应该怎么加呢，简单啊，每个kernel不是3x3吗（常见），那就在添加9个位移变量，分别对应3x3的每个权重...
yolov8改进轻量化Conv
最新发布
11-16
YOLOv8是一种基于You Only Look Once（YOLO）目标检测算法的最新版本，它在保持高效性能的同时，特别注重模型的轻量化。在处理卷积层（Convolutional Layers）时，YOLOv8做了几个关键改进： 1. **混合精度计算**（Mixed Precision Inference）：通过利用半精度浮点数（FP16）进行运算，减少计算量，提高速度，同时保持较高的准确度。这有助于降低内存消耗并加速硬件执行。 2. **分组卷积**（Grouped Convolutions）：将大卷积核分解成较小的组，每个组内独立运算，降低了计算复杂性和参数数量，使得模型更容易部署到资源受限设备上。 3. **瓶颈结构**（Bottleneck Blocks）：类似于ResNet中的设计，YOLOv8使用更小的卷积核（如1x1、3x3）结合更深的网络层次，减少了需要计算的空间，提高了效率。 4. **空间金字塔池化**（SPP或Spatial Pyramid Pooling）：对输入进行不同尺度的下采样，增加了对物体尺寸变化的适应能力，同时减小了计算负担。 5. **动态过滤器选择**（Dynamic Filter Selection）：根据输入的重要性动态调整卷积层的过滤器数量，进一步优化模型大小和性能之间的平衡。 这些改进让YOLOv8能够实现在保持较高检测效果的前提下，显著地减小模型体积，提升实时性能，并适应各种不同的硬件环境。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Snu77

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值