YOLOv11改进 | Conv/卷积篇 | 利用ModulatedDeformConv二次创新C3k2(降低网络层数 + 计算量)

已于 2024-11-17 07:37:12 修改
阅读量2.4k 收藏 27
点赞数 20
CC 4.0 BY-SA版权
分类专栏： YOLOv11有效涨点专栏 文章标签： 深度学习 计算机视觉 YOLO 目标检测 人工智能 python YOLOv11
于 2024-11-17 01:25:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/java1314777/article/details/143822986

一、本文介绍

本文给大家带来的改进机制是ModulatedDeformConv来替换我们模型的下采样操作，同时含二次创新C3k2机制，其主要思想是通过引入可学习的空间偏移量，实现感受野的动态调整，增强卷积神经网络对图像中几何变换的适应能力。不同于其它的Conv这种可变形Conv主要就是通过学习下采样的位置来进行提高检测精度，但是这种方法可以减少计算量，网络层数，所以这个方法还是比较推荐大家在自己数据集上尝试一下的，能够减少网络层数的机制不多。

欢迎大家订阅我的专栏一起学习YOLO！    

训练信息1：YOLO11-C3k2-MDConv-1 summary: 315 layers, 2,616,209 parameters, 2,616,193 gradients, 6.4 GFLOPs
训练信息2：YOLO11-C3k2-MDConv-2 summary: 314 layers, 2,668,612 parameters, 2,668,596 gradients, 6.4 GFLOPs
训练信息3：YOLO11-MDConv summary: 313 layers, 2,718,804 parameters, 2,718,788 gradients, 5.4 GFLOPs
基础版本：YOLO11 summary: 319 layers, 2,591,010 parameters, 2,590,994 gradients, 6.4 GFLOPs

专栏回顾：YOLOv11改进系列专栏——本专栏持续复习各种顶会内容——科研必备

目录

一、本文介绍

二、原理介绍

三、核心代码 

四、手把手教你添加本文机制 

4.1 修改一

4.2 修改二 

4.3 修改三 

4.4 修改四 

五、正式训练

5.1 yaml文件1

5.2 yaml文件2

5.3 yaml文件3

5.4 训练代码 

5.5 训练过程截图 

五、本文总结

二、原理介绍

​

官方论文地址： 官方论文地址点击此处即可跳转

官方代码地址： 官方代码地址点击此处即可跳转

​

可变形卷积（Deformable Convolution）的主

了解本专栏 订阅专栏 解锁全文
YOLOv11改进 | 细节创新篇 | 最新双时相特征聚合模块BFAM助力yolov11有效涨点（二次创新C3k2全网独家首发）
Snu77的博客
01-21 2242
本文给大家带来的最新改进机制是2024年的双时相特征聚合模块BFAM，其中双时相特征聚合模块（BFAM）基于空间-时间特征聚合多种感受野的特征，同时保留了细粒度信息和纹理信息，增强了变化检测的准确性，我将其用于二次创新yolov11中的C3k2模块，目的是为了提高了图像变化检测的准确性，解决噪声和信息丢失的问题，本文的内容为独家创新，下图为BFAM网络的结构图。欢迎大家订阅我的专栏一起学习YOLO，购买专栏读者联系读者入群获取进阶项目文件！
YOLOv11改进 | Conv/卷积篇 | 全维度动态卷积ODConv与二次创新C3k2助力YOLOv11有效涨点
weixin_39818775的博客
06-01 850
全维度动态性：核/空间/通道/输入四重自适应多尺度协同：通过C3k2整合不同感受野高效计算：注意力机制实现智能资源分配显著性能提升：COCO mAP提升4.5%实验表明，该改进对小目标检测尤为有效(mAP提升7.4%)，同时保持了合理的计算开销增长。这种动态卷积与架构创新的结合为目标检测模型设计提供了新思路，其模块化特性也便于迁移到其他视觉任务中。未来工作将聚焦于动态机制的自动化和硬件友好性优化。
【CVPR2022】《BasicVSR++: Improving Video Super-Resolution with Enhanced Propagation and Alignment》译读笔记
墨门
06-15 835
并且，SecondOrderDeformableAlignment类继承了ModulatedDeformConv2d，这表明BasicVSR++模型使用了可变形卷积。但是，根据对mmcv库的了解，ModulatedDeformConv2d实现的是DCNv2，因为在DCNv2中，引入了一个新的模块化参数（modulation scalar）来增强模型的表达能力，而。因此，可以推断，BasicVSR++在其网络模型中使用的可变形卷积（Deformable Convolution）应该是DCNv2。
modulated-deform-conv:变形卷积2D 3D DeformableConvolution DeformConv调制火炬CUDA
04-19
modulated-deform-conv 该项目是一个 Pytorch C++ and CUDA Extension,采用C++和Cuda实现了deformable-conv2d,modulated-deformable-conv2d,deformable-conv3d,modulated-deformable-conv3d的forward function和backward function,并在Python中对其进行了包装。 This Project is a Pytorch C++ and CUDA Extension, which implements the forward function and backward function for deformable-conv2d, modulated-deformable-conv2d, deformable-conv3d,
aanet
qq_36767550的博客
08-17 754
AANet( (feature_extractor): AANetFeature( (conv1): Sequential( (0): Conv2d(3, 32, kernel_size=(7, 7), stride=(3, 3), padding=(3, 3), bias=False) (1): BatchNorm2d(32, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (2): ReLU(inplace=True) )
MMCV 中的 ModulatedDeformConv2d
yiran103的专栏
06-30 1748
MMCV 是一个面向计算机视觉的基础库。相比 torchvision， MMCV 的功能更丰富。而且除了 CPU 和 GPU 之外，还支持昇腾、寒武纪和摩尔线程的硬件。然而 MMCV 后端接入缺乏统一标准，DIOPI 早夭更是加剧了这一局面。MMCV 中 DeformConv2d 和 ModulatedDeformConv2d 分别对应 DCNv1 和 DCNv2 的实现。DeformConv2d 对外提供参数，而 ModulatedDeformConv2d 则没有。DeformConv2d 可能已
YOLOv11改进 | Conv/卷积篇 | 全维度动态卷积ODConv卷积二次创新C3k2助力YOLOv11有效涨点
Snu77的博客
10-13 4702
这篇文章给大家带来的是发表于2022年的ODConv(Omni-Dimensional Dynamic Convolution)中文名字全维度动态卷积，该卷积可以即插即用，可以直接替换网络结构中的任何一个卷积模块在本文的末尾提供可以直接替换卷积模块的ODConv，添加ODConv模块的C2f和Bottleneck(配合教程将代码复制粘贴到你自己的代码中即可运行)给大家。
YOLOv11改进 | Conv/卷积篇 | 利用2024最新YOLOv9的GELAN模块替换C3k2结构（附轻量化版本 + 高效涨点版本 + 结构图
Snu77的博客
11-05 2595
本文给大家带来的改进机制是利用2024/02/21号发布的YOLOv9其中提出的GELAN模块来改进YOLOv10中的C2f。
YOLOv11改进 | Conv/卷积篇 | 2024最新线性可变形卷积LDConv替换传统下采样二次创新C3k2（附代码 + 修改方式）
Snu77的博客
11-19 5070
本文给大家带来的最新改进机制是利用2024最新的线性可变形卷积LDConv替换YOLOv11的传统下采样操作（值得一提的是这个作者和RFAConv是同一个作者），介绍了一种新型的卷积操作——线性可变形卷积（LDConv）。LDConv 旨在解决标准卷积操作的局限性，标准卷积在固定形状和大小的局部窗口中进行采样，难以动态适应不同物体的形状。可变形卷积（Deformable Conv）虽然允许灵活的采样位置，但其参数数量随着卷积核大小呈平方增长，计算效率较低。LDConv 提供了比可变形卷积更大的灵活性。
【亲测免费】 探索深度学习新境界：模态可变形卷积模块——modulated-deform-conv深度解析与应用推荐
gitblog_00102的博客
09-11 1313
探索深度学习新境界：模态可变形卷积模块——modulated-deform-conv深度解析与应用推荐 在深度学习领域，卷积神经网络(CNNs)因其卓越的图像处理能力而被广泛应用。然而，在面对复杂场景，如非规则对象检测与分割时，标准卷积操作显得力不从心。为解决这一挑战，modulated-deform-conv项目横空出世，为开发者提供了强大的工具包，它专为PyTorch设计，通过C++和CUDA...
DCNv2可变形卷积开发包
11-13
可变性卷积的思想很简单，就是讲原来固定形状的卷积核变成可变的。同时可以去我的github地址去下载：https://github.com/z1z9b89/DCNv2
如何把“自己的”网络中的conv2d替换为dcnv2
qq_17127427的博客
10-15 6817
1、dcnv2的实现测试了两种，一种是官方版dcnv2，git链接：https://github.com/CharlesShang/DCNv2.git，编译直接cd到DCNv2，然后./make.sh即可，第二种是mmcv.ops.modulated_deform_conv.ModulatedDeformConv2dPack 2、实验以resnet50、mnist训练为例 from torch_op.common import init_seed from torchvision.datasets i
MMCVDeformConv2d转TensorRT记录
qq_35435798的博客
03-25 1675
MMCVDeformConv2d转Tensorrt
“from mmcv.ops import ModulatedDeformConv2d“标红或者mmcv找不到的问题
qq_61661957的博客
03-04 2041
大部分人装mmcv时，如果直接pip install，那么可能遇到的问题是mmcv和pytorch版本不对应。可以看到截止目前（2025.3.4日），torch版本只支持2.1.x版本的，cuda最高只支持12.1的。已经配置好清华等镜像源的伙伴可以直接去除命令的红框部分，默认从自己的源下载，速度快。否则参考刚刚第一条的。，则说明安装了cuda且版本是12.1的，且pytorch版本为2.1.0（GPU版本）。如果GPU版本的默认下载方式太慢，因为从国外下载，那么可以参考这个文章，从阿里云下载。
Deformable Convolutional Networks && Region Proposal by Guided Anchoring
breeze_blows的博客
03-21 1682
https://zhuanlan.zhihu.com/p/58185157
Ascend DrivingSDK 中的 modulated_deform_conv2d（一）
最新发布
yiran103的专栏
08-11 759
Ascend DrivingSDK是为昇腾NPU平台开发的自动驾驶算子和模型加速库，其modulated_deform_conv2d算子采用两种实现：v1版本缓存卷积窗口索引并复用计算结果，v2版本优化3x3卷积性能但功能更简陋。两者均存在参数顺序不一致、功能不完善等问题，且缺乏文档说明，使用体验较差。该SDK虽开源但代码质量未达工业级标准，主要亮点在于利用NPU硬件特性（如大容量L2缓存）提升性能，但仍有较大改进空间。
YOLOv8改进时遇到的报错及其解决
xzgxg1103的博客
02-19 549
解决：通过--master_port参数来指定主节点使用的端口号 如：CUDA_VISIBLE_DEVICES=4,5 torchrun --nproc_per_node=2 --master_port 15666 train_test.py。torchvision.transforms.functional_tensor 替换成torchvision.transforms.functional 就能正常运行了。在服务器环境中，特别是当多个用户或任务同时运行时，可能已经被其他DDP训练任务占用。
pytorch报错整理（1）：搭建卷积层时，误用Conv2d和conv2d而引发的错误
热门推荐
qq_37382769的博客
03-10 1万+
在pytorch编程中，很容易误用conv2d()和Conv2d()，引发 报错，为方便日后Debug，现整理如下
mmdetection(2)： DeformableConvNets(DCN)
冷夏的专栏
06-21 7712
先来点干货，基于pytorch的代码： https://github.com/4uiiurz1 DCN可以说是打破了传统的CNN，那到底是怎么搞的呢 v1： https://arxiv.org/abs/1703.06211 既然原始的只能提取特定区域，那我们给其加上个位移不就ok了 那位移应该怎么加呢，简单啊，每个kernel不是3x3吗（常见），那就在添加9个位移变量，分别对应3x3的每个权重...
NameError: name 'connection' is not defined
12-13
NameError: name 'connection' is not defined 是一个常见的Python错误，通常在代码中尝试使用一个尚未定义的变量时出现。具体来说，这个错误表明在代码的某个地方使用了名为 'connection' 的变量，但在此之前并没有定义它。 以下是一些可能的原因和解决方法： 1. **未定义变量**： 确保在使用 'connection' 变量之前已经定义它。例如： ```python # 错误示例 print(connection) # NameError: name 'connection' is not defined # 正确示例 connection = "数据库连接字符串" print(connection) # 正常输出 ``` 2. **作用域问题**： 确保变量在当前作用域内定义。例如： ```python def connect(): connection = "数据库连接字符串" print(connection) # NameError: name 'connection' is not defined # 正确示例 def connect(): connection = "数据库连接字符串" print(connection) # 正常输出 connect() ``` 3. **拼写错误**： 检查变量名是否拼写正确，包括大小写。例如： ```python connection = "数据库连接字符串" print(Connection) # NameError: name 'Connection' is not defined ``` 4. **导入模块问题**： 如果 'connection' 是从某个模块导入的，确保已经正确导入。例如： ```python import sqlite3 print(connection) # NameError: name 'connection' is not defined # 正确示例 import sqlite3 connection = sqlite3.connect('example.db') print(connection) # 正常输出 ``` 通过检查这些常见问题，可以解决大部分 NameError: name 'connection' is not defined 错误。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Snu77

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值