YOLOv8改进有效涨点系列-＞多位置替换可变形卷积(DCNv1、DCNv2、DCNv3)

已于 2024-01-11 22:16:49 修改
阅读量1.4w 收藏 90
点赞数 25
CC 4.0 BY-SA版权
分类专栏： YOLOv8有效涨点专栏 文章标签： YOLO 人工智能 深度学习 算法
于 2023-11-05 21:10:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/java1314777/article/details/134193399

一、本文介绍

这篇文章主要给大家讲解如何在多个位置替换可变形卷积，它有三个版本分别是DCNv1、DCNv2、DCNv3，在本篇博文中会分别进行介绍同时进行对比，通过本文你可以学会在YOLOv8中各个位置添加可变形卷积包括(DCNv1、DCNv2、DCNv3)，可替换的位置包括->替换C2f中的卷积、DarknetBottleneck中的卷积、主干网络(Backbone)中的卷积等多个位置，本文通过实战的角度进行分析，利用二分类数据集检测飞机为案例，训练结果，通过分析mAP、Loss、Recall等评估指标评估变形卷积的效果，在讲解的过程中有一部分知识点内容来自于论文,也有一部分是我个人的总结内容。

适用对象->适合魔改YOLOv8尝试多位置修改发表论文的用户 

适用检测目标->各种类型的目标检测对象

专栏目录：YOLOv8改进有效系列目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制

专栏回顾：YOLOv8改进系列专栏——本专栏持续复习各种顶会内容——科研必备 

目录

一、本文介绍

二、概念介绍

三、可变形卷积系列实战讲解

3.1 DCNv1

3.1.1 DCNv1的使用方法

3.2 DCNv2

3.2.1 DCNv2代码

3.2.2 DCNv2的使用方法

3.3 DCNv3

3.3.1 DCNv3的使用方法 

3.3.2 Pytorch版本 

3.3.3 C++版本 

四、可添加位置 

五、本文总结

二、概念介绍

首先我们先来介绍一个大的概念DCN全称为Deformable Convolutional Networks,翻译过来就是可变形卷积的意思，其是一种用于目标检测和图像分割的卷积神经网络模块，通过引入可变形卷积操作来提升模型对目标形变的建模能力。

什么是可变形卷积？我们看下图来看一下就了解了。

上图中展示了标准卷积和可变形卷积中的采样位置。在标准卷积（a）中，采样位置按照规则的网格形式排列（绿色点）。这意味着卷积核在进行卷积操作时，会在输入特征图的规则网格位置上进行采样。

而在可变形卷积（b）中，采样位置是通过引入偏移量进行变形的（深蓝色点），并用增强的偏移量（浅蓝色箭头）进行

了解本专栏 订阅专栏 解锁全文
YOLOv10改进系列 ---- Conv篇 ---- 2024.1月最新成果可变形卷积DCNv4（适用检测、Seg、分类、Pose、OBB）
m0_58941767的博客
02-18 3918
本文给大家带来的改进机制是2024-1月的最新成果DCNv4，其是DCNv3的升级版本，效果可以说是在目前的卷积中名列前茅了，同时该卷积具有轻量化的效果！一个DCNv4参数量下降越15Wparameters左右，。它主要通过两个方面对前一版本DCNv3进行改进：首先，它移除了空间聚合中的softmax归一化，这样做增强了其动态特性和表达能力；其次，它优化了内存访问过程，以减少冗余操作，从而加快处理速度。DCNv4的表现可以说是非常的全面，同时该网络为新发目前存在大量使用Bug我均已修复。
YOLOv8改进实战：轻量级下采样模块ContextGuided——在降维同时捕获上下文，小目标AP提升3.8%（附完整适配代码+涨点验证）
最新发布
专注于Python爬虫开发，分享爬虫技巧、项目实战与反爬经验，使用Scrapy、BeautifulSoup等工具，解决数据抓取难题。
10-13 889
本文提出了一种基于上下文引导下采样的YOLOv8改进方案，通过轻量级设计解决传统下采样方法丢失小目标细节和上下文关联的问题。该方案包含三个关键步骤：局部特征提取（深度可分离卷积）、上下文引导模块（全局语义加权）和通道扩展，在仅增加2.3%参数量的情况下，实现了mAP提升2.5%、小目标AP提升3.8%的效果。相比其他下采样方法，ContextGuided在精度和速度间取得了更好平衡。文章详细介绍了模块实现原理和代码适配步骤，为YOLOv8的轻量级改进提供了有效方案。
YOLOv8改进——引入可变形卷积DCNv3
zyw2002的博客
08-21 2万+
本文只讲解在YOLOv8的代码中添加DCNv3的操作流程, 具体的原理参见上述的链接~是pytorch实现的版本，只要基础的pytorch环境安装正确就不会出错。是C++实现版本，必须先在上一步编译成功，或者安装好了轮子，否则会报错。但是在实际的训练过程中，C++版本的运行速度更快，推荐使用C++版本。(具体怎么修改，都可以自己决定，然后通过实验看看效果如何)文件夹，该文件夹下的内容就是实现DCNv3算子的核心代码。中，下图中的列表里添加。
（17）目标检测算法之 YOLOv8 算法改进详细解析
yohnyang的博客
01-27 1万+
目标检测算法之 YOLOv8 算法改进详细解析
YOLOv8改进 | Conv篇 | AKConv轻量级架构下的高效检测（既轻量又提点）
Snu77的博客
12-01 4万+
本文给大家带来的改进内容是AKConv（可变核卷积）是一种创新的卷积神经网络操作，它旨在解决标准卷积操作中的固有缺陷（采样形状是固定的），AKConv的核心思想在于它为卷积核提供了任意数量的参数和任意采样形状，能够使用任意数量的参数（如1, 2, 3, 4, 5, 6, 7等）来提取特征，这在标准卷积和可变形卷积中并未实现​​。(同时我修改了AKConv在训练到最后一个轮次报错和版本警告的问题RuntimeError: CUDA error: device-side assert triggered)
YOLOV8改进：CVPR2023：加入EfficientViT主干：具级联组注意力的访存高效ViT
AIcurator的博客
07-18 2942
视觉变压器由于其高模型能力而取得了巨大的成功。然而，它们卓越的性能伴随着沉重的计算成本，这使得它们不适合实时应用。在这篇论文中，我们提出了一个高速视觉变压器家族，名为EfficientViT。我们发现现有的变压器模型的速度通常受到内存低效操作的限制，特别是在MHSA中的张量重塑和单元函数。因此，我们设计了一种具有三明治布局的新构建块，即在高效FFN层之间使用单个内存绑定的MHSA，从而提高了内存效率，同时增强了信道通信。此外，我们发现注意图在头部之间具有很高的相似性，从而导致计算冗余。
yolov8改进模型
m0_37302966的博客
05-30 1900
yolov8改进模型
YOLOv8 改进算法，添加注意力机制等
QQ_1309399183的博客
07-13 892
YOLOv8 改进算法，添加注意力机制等
YOLOv8改进 | 多位置替换可变形卷积（DCNv1、DCNv2、DCNv3）助力极限涨点
走向CTO的路上...
06-27 2700
可变形卷积（Deformable Convolutional Networks，DCN）是一种近年来兴起的卷积操作，其核心思想是通过学习偏移量来动态调整卷积核的位置，以提升模型的性能。本文将介绍如何在YOLOv8模型结构中添加多位置替换可变形卷积（DCNv1、DCNv2、DCNv3），以实现极限涨点。本文介绍了如何在YOLOv8模型结构中添加多位置替换可变形卷积（DCNv1、DCNv2、DCNv3），并对YOLOv8模型进行了部分改进。
在YOLOv8中替换卷积为DCNv3，实现有效涨点
07-13
【作品名称】：在YOLOv8中替换卷积为DCNv3，实现有效涨点 【适用人群】：适用于希望学习不同技术领域的小白或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 【项目介绍】： 开始使用 ...
YOLOv8 添加可变形卷积 DCNv2
走向CTO的路上...
03-12 1551
通过将 DCNv2 集成到 YOLOv8 中，可以有效增强模型在处理复杂形变目标时的鲁棒性。然而，这也可能导致计算开销增加，因此需平衡精度与效率。
YOLOv8中的可变形卷积改进 | 从DCNv1到DCNv3的多位置替换可变形卷积保姆级实操
一键难忘的博客
08-06 3589
可变形卷积（Deformable Convolution）最早由Dai等人在2017年提出，其核心思想是在标准卷积操作的基础上，引入可学习的偏移量（offsets），使卷积核能够自适应调整其采样位置，从而增强模型对目标变形的感知能力。return x本文通过深入探讨可变形卷积在YOLOv8中的应用，详细介绍了DCNv1、DCNv2和DCNv3的原理和实现，并通过实验验证了其在目标检测任务中的有效性。未来，我们将继续探索更多优化策略和技术，提升YOLOv8模型的性能，以应对更复杂的目标检测任务。
改进YOLOv8 | 更换主干网络 | 基于PP-LCNet的轻量级目标检测算法
带你成为别人眼中的大佬！
06-03 2894
首先，让我们来看一下PP-LCNet的架构。接下来，我们将PP-LCNet应用于YOLOv8的主干网络中。具体而言，我们将YOLOv8原来的Darknet53网络替换为PP-LCNet，并在训练过程中使用交叉熵作为损失函数。因此，我们将其应用于改进目标检测算法YOLOv8的主干网络，以提高YOLOv8在低算力设备上的性能。经过实验比较，我们发现将原来的Darknet53网络替换为PP-LCNet后，YOLOv8在mAP指标上得到了1-2个百分点的提升，并且模型的参数量减少了约50%。
最新改进YOLOv8系列：YOLOv8改进ShuffleNetV2，有效涨点！
B站 Ai学术叫叫兽的文案地
09-04 8630
主干网络为ShuffleNetV2, 其主要结构Inverted_residual_unit的组成单元如下图 c、d所示:ShuffleNetV1结构的问题：如上图(a)(b)在ShuffleNetv1的模块中，大量使用了1x1组卷积，这违背了G2原则，另外v1采用了类似ResNet中的瓶颈层（bottleneck layer），输入和输出通道数不同，这违背了G1原则。同时使用过多的组，也违背了G3原则。短路连接中存在大量的元素级Add运算，这违背了G4原则。
【完全免费分享】yolov8改进方法，包含多种改进（注意力机制、transformer等）
热门推荐
weixin_62371528的博客
02-28 5万+
yolov8改进方法，包含多种改进（注意力机制、transformer等）ContextAggregation,BoT3, GAM_Attention, GlobalContext, GatherExcite, TripletAttention, ECAAttention, ShuffleAttention, SEAttention, EffectiveSE, C3TR, RepViTBlock, SPPFCSPC, DWConv, GhostConv等等
yolov8模型结构改进方法
weixin_42479327的博客
04-13 3950
根据模块类型，将其添加到对应位置，清晰明了。通过此方法可以快速搭建新模型架构。接下来只需填充配置文件及对应参数就好。具体实施过程，参考下一篇将gold引入yolov8的文章。
YOLOv8改进心得：多位置替换可变形卷积（DCNv1、DCNv2、DCNv3）实战指南与优化思路
qq_38334677的博客
10-03 2641
在YOLOv8中，优化卷积结构是提升检测精度的重要途径之一。可变形卷积（DCN）作为一种创新的卷积方式，通过引入偏移量调整采样位置，使得模型能够更灵活地适应目标的形状变化，从而提升了物体检测中的精度。DCN有多个版本，包括DCNv1、DCNv2和DCNv3，本文将逐一介绍并对比它们在YOLOv8中的应用和效果。通过阅读本文，您将学会如何在YOLOv8的多个位置（如主干网络、C2f模块、DarknetBottleneck模块等）替换可变形卷积，并通过实际训练和评估分析这些替换对模型性能的影响。
YOLOv8改进
m0_70366090的博客
03-28 265
SPPF：SPP的变体，在Backbone的最后一层作为主干网络的池化层对输入特征图进行大尺度的特征提取，由于SPPF结构主要是池化操作，对特征图空间降维，故而这一层主要提取细粒度信息，并为后续Neck部分减少计算开销的作用。增加一个平均池化支路来补强该层对全局信息的捕捉能力，同时可以起到对特征图减噪的作用(平均池化的特点)
YOLOv8的改进的方法
2401_88440984的博客
02-04 1872
YOLOv8的改进的方法
DCNv3
06-16
### DCNv3 的介绍与实现细节 DCNv3 是可变形卷积网络（Deformable Convolutional Networks, DCN）系列的进一步改进版本。尽管在提供的引用中未直接提及 DCNv3，但可以通过对 DCN 和其后续版本（如 DCNv2[^3] 和 DCNv4[^1]）的理解来推测 DCNv3 的设计目标和可能的实现方式。 #### 1. **DCNv3 的背景与动机** DCN 系列的核心思想是通过引入可变形卷积（deformable convolution）和可变形 RoI 池化（deformable RoI pooling），增强模型的空间自适应能力，以应对图像中物体形状、尺度和姿态的变化。DCNv3 很可能继承了这一理念，并针对以下问题进行了优化： - 提高计算效率：减少参数数量，同时保持甚至提升性能。 - 改善训练稳定性：解决标准 Faster R-CNN 训练过程中难以学习调制标量的问题。 - 增强泛化能力：在不同任务（如目标检测、实例分割等）中表现出更好的适应性。 #### 2. **DCNv3 的关键特性** 虽然没有明确的 DCNv3 描述，但可以推测其可能包含以下特性： - **动态采样点调整**：类似于 DCNv2，DCNv3 可能允许每个位置的采样点根据输入特征动态调整，从而更好地捕捉复杂的空间变化。 - **调制机制**：通过引入额外的调制标量（modulation scalar），控制每个采样点的权重，排除冗余上下文信息[^3]。 - **混合精度支持**：结合混合精度训练技术[^4]，降低显存占用并加速训练过程，同时保持模型精度基本不变。 #### 3. **DCNv3 的实现细节** 以下是基于 DCNv2 和 DCNv4 的推测，可能适用于 DCNv3 的实现方法： ##### (1) **核心模块设计** DCNv3 的核心模块可能包括以下部分： - **偏移生成网络**：用于预测每个采样点的偏移量。 - **调制标量生成网络**：为每个采样点生成权重，以调节其重要性。 - **特征聚合**：根据偏移量和调制标量，聚合输入特征图中的信息。 代码示例（Python 实现框架）： ```python import torch.nn as nn class DeformConvV3(nn.Module): def __init__(self, in_channels, out_channels, kernel_size=3, stride=1, padding=1, bias=False): super(DeformConvV3, self).__init__() self.offset_conv = nn.Conv2d(in_channels, 2 * kernel_size * kernel_size, kernel_size=kernel_size, stride=stride, padding=padding, bias=bias) self.modulation_conv = nn.Conv2d(in_channels, kernel_size * kernel_size, kernel_size=kernel_size, stride=stride, padding=padding, bias=bias) self.deform_conv = nn.Conv2d(in_channels, out_channels, kernel_size=kernel_size, stride=stride, padding=padding, bias=bias) def forward(self, x): offset = self.offset_conv(x) # 动态偏移量 modulation = self.modulation_conv(x).sigmoid() # 调制标量 output = self.deform_conv(x, offset, modulation) # 特征聚合 return output ``` ##### (2) **训练策略** 为了克服标准 Faster R-CNN 训练过程中难以学习调制标量的问题，DCNv3 可能采用了以下策略： - **多任务损失函数**：在原有任务（如分类、回归）的基础上，增加一个辅助任务，专门优化偏移量和调制标量的学习。 - **预训练初始化**：利用预训练模型初始化偏移生成网络和调制标量生成网络，以提高训练稳定性。 ##### (3) **混合精度训练** DCNv3 可能支持混合精度训练[^4]，以降低显存占用并加速训练过程。具体实现如下： - 使用 FP16 数据类型存储权重和激活值，同时保留关键操作（如梯度计算）在 FP32 下进行。 - 配合 Apex 或类似工具，自动处理混合精度训练的细节。 代码示例（混合精度训练配置）： ```python from apex import amp model = DeformConvV3(in_channels=256, out_channels=128) optimizer = torch.optim.SGD(model.parameters(), lr=0.01) model, optimizer = amp.initialize(model, optimizer, opt_level="O1") # 混合精度初始化 for data in dataloader: inputs, targets = data outputs = model(inputs) loss = compute_loss(outputs, targets) with amp.scale_loss(loss, optimizer) as scaled_loss: scaled_loss.backward() optimizer.step() ``` #### 4. **DCNv3 的应用场景** DCNv3 可能广泛应用于以下领域： - **目标检测**：结合 Faster R-CNN 或 RetinaNet 等框架，提升小目标检测性能。 - **实例分割**：通过增强空间自适应能力，改善边界区域的分割效果。 - **图像生成**：在生成建模任务中，替代常规卷积，减少参数数量并提升性能。 --- ###
评论 45
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Snu77

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值