【YOLOv8改进 - 卷积Conv】DCNv3： 可变形卷积，结合稀疏注意力机制与卷积的创新算子

已于 2024-07-25 14:32:19 修改
阅读量1.3k 收藏 4
点赞数 24
分类专栏： YOLOV8基础解析+创新改进+实战案例 文章标签： YOLO 目标检测 网络 yolov8 神经网络
于 2024-07-25 14:29:48 首次发布
原创文章，禁止任何形式转载！
本文链接：https://blog.youkuaiyun.com/shangyanaf/article/details/140689270
版权

YOLOv8目标检测创新改进与实战案例专栏

专栏目录： YOLOv8有效改进系列及项目实战目录 包含卷积，主干 注意力，检测头等创新机制 以及 各种目标检测分割项目实战案例

专栏链接: YOLOv8基础解析+创新改进+实战案例

介绍

image-20240725100945813

摘要

与近年来大规模视觉Transformer (ViTs) 的巨大进步相比，基于卷积神经网络 (CNNs) 的大规模模型仍处于早期阶段。本工作提出了一种新的大规模基于CNN的基础模型，称为InternImage，它能够像ViTs一样，通过增加参数和训练数据来获得提升。与最近关注大密度卷积核的CNNs不同，InternImage以可变形卷积作为核心运算符，因此我们的模型不仅具有下游任务（如检测和分割）所需的大有效感受野，还具有根据输入和任务信息自适应的空间聚合能力。结果是，所提出的InternImage减少了传统CNNs的严格归纳偏差，使其能够从大规模参数和海量数据中学习更强大、更鲁棒的模式，类似于ViTs。我们模型的有效性在包括ImageNet、COCO和ADE20K在内的挑战性基准上得到了验证。值得一提的是，InternImage-H在COCO test-dev上达到了新的记录65.4 mAP，在ADE20K上达到了62.9 mIoU，超越了当前领先的CNNs和ViTs。

文章链接

论文地址：论文地址

代码地址：代码地址

基本原理

  1. 借鉴了可分离卷积的思想，将原始卷积权重 w k w_k w
了解本专栏 订阅专栏 解锁全文
在YOLOv8中替换卷积为DCNv3，实现有效涨点
07-13
【作品名称】：在YOLOv8中替换卷积为DCNv3，实现有效涨点 【适用人群】：适用于希望学习不同技术领域的小白或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 【项目介绍】： 开始使用 环境安装 pip uninstall ultralytics cd ultralytics\ops_dcnv3 python setup.py install 注意一定要卸载ultralytics包 若setup.py安装出现问题，请升级gcc至8.0及以上版本（Linux）
YOLOv8改进 | 二次创新篇 | 升级版本Dyhead检测头替换DCNv3 实现完美升级(全网独家首发)
Snu77的博客
01-12 7644
本文给大家带来的改进机制是在DynamicHead上替换DCNv3模块，其中DynamicHead的核心为DCNv2，但是今年新更新了DCNv3其作为v2的升级版效果肯定是更好的，所以我将其中的核心机制替换为DCNv3给Dyhead相当于做了一个升级，效果也比之前的普通版本要好，这个机制为我个人的融合算是，先用先得全网无第二份此改进机制，同时我发布的一比一复现版本Dyhead也是收获了多个读者的反馈均有涨点效果！！欢迎大家订阅我的专栏一起学习YOLO！
YOLOv8改进，YOLOv8添加DCNv3可变性卷积，无需编译
在职AI算法工程师，擅长计算机视觉，YOLO目标检测、分割等，擅长web、pyqt界面可视化，好内容持续更新中，来这里跟大家一起学习，共同进步
06-25 3508
DCNv3在DCNv2版本上进行了改进，上一期我们在YOLOv8中添加了DCNv2，这一期我们将添加DCNv3，DCNv3代码详解可以参考链接:代码详解——可变形卷积（DCNv3）
代码详解——可变形卷积（DCNv3）
zyw2002的博客
08-21 1万+
如下图，首先下载InterImage官方代码，然后在segmentation、detection、classification文件夹下均可以找到ops_dcnv3文件夹，该文件夹下的内容就是实现DCNv3算子的核心代码。modules如下图所示,modules文件夹中的dcnv3.py文件主要定义了DCNv3模块。其中是DCNv3的pytorch实现版本，DCNv3是DCNv3的C++实现版本。functions如下图所示，function文件夹中的文件定义了DCNv3的一些核心操作。
YOLOv8改进——引入可变形卷积DCNv3
热门推荐
zyw2002的博客
08-21 2万+
本文只讲解在YOLOv8的代码中添加DCNv3的操作流程, 具体的原理参见上述的链接~是pytorch实现的版本，只要基础的pytorch环境安装正确就不会出错。是C++实现版本，必须先在上一步编译成功，或者安装好了轮子，否则会报错。但是在实际的训练过程中，C++版本的运行速度更快，推荐使用C++版本。(具体怎么修改，都可以自己决定，然后通过实验看看效果如何)文件夹，该文件夹下的内容就是实现DCNv3算子的核心代码。中，下图中的列表里添加。
YOLOv8改进 | 独家创新篇 | 利用DCNv3结合DLKA形成全新的注意力机制（全网独家创新）
Snu77的博客
03-08 3329
本文给大家带来的机制是由我独家创新结合注意力机制和DCNv3可变形卷积的全新注意力机制模块（算是二次创新），D-LKA的基本原理是结合了大卷积核和可变形卷积的注意力机制，通过采用大卷积核来模拟类似自我关注的感受野，同时避免了传统自我关注机制的高计算成本，同时我们利用DCNv3来优化其中的可变形卷积，本文内容为我独家整理全网。欢迎大家订阅我的专栏一起学习YOLO！YOLOv8改进有效系列目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制目录一、本文介绍。
【YOLOv8改进 - 卷积Conv】DCNv4： 可变形卷积，动态与稀疏操作高效融合的创新算子
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-02 3266
【YOLOv8改进 - 卷积Conv】DCNv4： 可变形卷积，动态与稀疏操作高效融合的创新算子
【YOLOv8改进 - 卷积Conv】DCNv2： 可变形卷积，显式和隐式特征交互学习
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-24 2491
【YOLOv8改进 - 卷积Conv】DCNv2： 可变形卷积，显式和隐式特征交互学习
【YOLOv10改进 - 卷积Conv】DCNv4： 可变形卷积，动态与稀疏操作高效融合的创新算子
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-04 1218
我们介绍了可变形卷积 v4（DCNv4），这是一种设计用于广泛视觉应用的高效和有效的算子。DCNv4通过两个关键增强来解决其前身 DCNv3 的限制：1. 在空间聚合中移除了softmax标准化，以增强其动态特性和表达能力；2. 优化内存访问，减少冗余操作以加快速度。这些改进使得DCNv4的收敛速度显著更快，处理速度大幅提升，前向速度比DCNv3提高了三倍以上。DCNv4在图像分类、实例和语义分割等各种任务中表现出色，特别是在图像生成领域。
【YOLOv10改进 - 卷积Conv】DWRSeg：扩张式残差分割网络，提高特征提取效率和多尺度信息获取能力，助力小目标检测
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-07 773
许多当前的研究直接采用多速率深度扩张卷积，以同时从一个输入特征图中捕获多尺度上下文信息，从而提高实时语义分割的特征提取效率。然而，由于不合理的结构和超参数，这种设计可能导致难以获取多尺度上下文信息。为了降低获取多尺度上下文信息的难度，我们提出了一种高效的多尺度特征提取方法，将原来的单步方法分解为两个步骤：区域残差化-语义残差化。在这种方法中，多速率深度扩张卷积在特征提取中扮演了一个简单的角色：在第二步中基于第一步提供的每个简明区域形式的特征图，执行具有一个期望感受野的简单基于语义的形态滤波，以提高其效率。
YoloV8改进策略：InternImage与YoloV8深度融合，动态卷积DCNv3大显神威
m0_47867638的博客
04-20 920
他来了！他来了！他带着氩弧焊的光芒过来了！作为CV的大模型，InternImage的光芒太强了。分类任务检测任务分割任务“书生2.5”可根据文本内容需求快速定位检索出语义最相关的图像。这一能力既可应用于视频和图像集合，也可进一步结合物体检测框，具有丰富的应用模式，帮助用户更便捷、快速地找到所需图像资源, 例如可在相册中返回文本所指定的相关图像。“书生2.5”的“以图生文”在图像描述、视觉问答、视觉推理和文字识别等多个方面均拥有强大的理解能力。例如在自动驾驶场景下，可以提升场景感知理解能力，辅助车辆判断交通信
YOLOv8改进 | 多位置替换可变形卷积（DCNv1、DCNv2、DCNv3）助力极限涨点
走向CTO的路上...
06-27 2201
可变形卷积（Deformable Convolutional Networks，DCN）是一种近年来兴起的卷积操作，其核心思想是通过学习偏移量来动态调整卷积核的位置，以提升模型的性能。本文将介绍如何在YOLOv8模型结构中添加多位置替换可变形卷积（DCNv1、DCNv2、DCNv3），以实现极限涨点。本文介绍了如何在YOLOv8模型结构中添加多位置替换可变形卷积（DCNv1、DCNv2、DCNv3），并对YOLOv8模型进行了部分改进。
Yolov8-pose关键点检测：卷积魔改 | 变形条状卷积，魔改DCNv3二次创新
05-07 569
变形条状卷积，DCNv3改进版本，小幅涨点的前提下相比较DCNv3大幅度运算速度
YOLOv8改进：卷积变体系列篇 | DCNv3可形变卷积基于DCNv2优化 | CVPR2023
会AI的学姐
10-14 1180
DCNv3算子，基于DCNv2算子引入共享投射权重、多组机制和采样点调制，引入到YOLOv8，与C2f结合实现二次创新；
YOLOv8 改进：添加 DCNv3 可变形卷积
最新发布
走向CTO的路上...
03-14 272
通过在 YOLOv8 中集成 DCNv3，可以有效提升模型在处理复杂场景及目标检测任务中的鲁棒性。尽管可能会引入额外的计算开销，但其带来的检测精度提升可在许多应用中证明其价值。
芒果YOLOv5改进76：主干Backbone篇之DCNv3：即插即用｜使用pytorch代码实现，并针对YOLOv5专门优化模块，基于可变形卷积的超强变种
包括YOLOv5、YOLOv7、YOLOv8等模型改进
03-10 434
YOLOv5原创改进DCNv3结构：即插即用｜使用纯pytorch代码实现，不需要CUDA编译
Yolov8小目标检测（10）：DCNv3可形变卷积助力涨点，COCO新纪录65.4mAP | CVPR2023 InternImage
08-25 1808
DCNv3| 亲测在红外弱小目标检测涨点，map@0.5 从0.755提升至0.765
yolov5可变形卷积dcnv2
01-20
### 集成和使用 Deformable Convolution v2 (DCNv2) 在 YOLOv5 #### 安装依赖库 为了在YOLOv5中集成并使用Deformable Convolution v2 (DCNv2)，首先需要安装必要的依赖项。这可以通过克隆特定的GitHub仓库来完成，该仓库包含了实现DCNv2所需的源码[^2]。 ```bash git clone https://gitcode.com/gh_mirrors/py/PyTorch-Deformable-Convolution-v2 dcnv2 cd dcnv2 python setup.py install ``` #### 修改YOLOv5模型定义文件 接下来，在YOLOv5中的`models/yolov5s.yaml`或其他相应的网络配置文件里引入支持DCNv2的新层定义。具体来说，可以在backbone部分指定某些卷积层替换为带有偏移量学习机制的变形卷积操作[^1]。 对于想要应用DCNv2的具体位置，通常会选择在网络较深的地方或是特征融合模块之前的位置进行增强处理。这是因为随着网络加深，普通固定核难以捕捉到复杂的空间关系；而通过自适应调整感受野形状大小的方式，则有助于提高检测精度[^4]。 #### 编写自定义层代码 根据实际需求编写或修改Python脚本以创建新的类继承自nn.Module，并重载forward函数用于执行DCNv2计算逻辑。下面是一个简单的例子： ```python import torch.nn as nn from torchvision.ops import deform_conv2d class DCNV2(nn.Module): def __init__(self, in_channels, out_channels, kernel_size=3, stride=1, padding=1, dilation=1, groups=1, bias=True): super(DCNV2, self).__init__() self.offset_conv = nn.Conv2d(in_channels, 2 * kernel_size ** 2, kernel_size=kernel_size, stride=stride, padding=padding, bias=bias) self.dcnv2 = deform_conv2d.DeformConv2d(in_channels=in_channels, out_channels=out_channels, kernel_size=(kernel_size,kernel_size), stride=stride, padding=padding, dilation=dilation, groups=groups, bias=False if not bias else True) def forward(self,x): offset = self.offset_conv(x) output = self.dcnv2(input=x,offset=offset) return output ``` 此段代码展示了如何构建一个基于torchvision版本deform_conv2d包下的DCNV2类实例化对象。 #### 更新训练流程 最后一步是在训练过程中启用新加入的功能。确保数据加载器、损失函数以及优化算法都已正确设置好之后，就可以开始尝试不同参数组合下含有DCNv2组件后的YOLOv5性能表现了。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

YOLO大师

你的打赏，我的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值