YOLOv8改进 | 注意力机制 | 添加DAttention (DAT)注意力机制实现极限涨点

已于 2024-03-11 07:36:41 修改
阅读量9.9k 收藏 60
点赞数 11
CC 4.0 BY-SA版权
分类专栏： YOLOv8有效涨点专栏 文章标签： YOLO pytorch 人工智能 深度学习 python 计算机视觉 目标检测
于 2023-11-18 15:31:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/java1314777/article/details/134473627
本文深入探讨YOLOv8的DAT改进，即Vision Transformer with Deformable Attention，介绍了DAT的主要思想、网络结构及与传统机制的对比。通过实践展示了DAT在目标检测任务中的应用，并提供了即插即用的代码块，指导如何将DAT添加到网络中，以提升模型性能。

一、本文介绍

本文给大家带来的是YOLOv8改进DAT(Vision Transformer with Deformable Attention)的教程，其发布于2022年CVPR2022上同时被评选为Best Paper，由此可以证明其是一种十分有效的改进机制，其主要的核心思想是：引入可变形注意力机制和动态采样点(听着是不是和可变形动态卷积DCN挺相似)。同时在网络结构中引入一个DAT计算量由8.9GFLOPs涨到了9.4GFLOPs。本文的讲解主要包含三方面：DAT的网络结构思想、DAttention的代码复现，如何添加DAttention到你的结构中实现涨点，下面先来分享我测试的对比图(因为资源有限，我只用了100张图片的数据集进行了100个epoch的训练，虽然这个实验不能产生确定性的结论，但是可以作为一个参考)。

适用检测对象->各种检测目标都可以使用，并不针对于某一特定的目标有效。

专栏目录：YOLOv8改进有效系列目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制

专栏回顾：YOLOv8改进系列专栏——本专栏持续复习各种顶会内容——科研必备 

目录

一、本文介绍

二、DAT的网络结构思想

2.1 DAT的主要思想和改进

2.2 DAT的网络结构图 

2.3 DAT和其他机制的对比

三、DAT即插即用的代码块

四、添加DAT到你的网络中

4.1 DAT的yaml文件和训练过程

五、DAT可添加的位置

5.1推荐DAT可添加的位置 

5.2图示DAT可添加的位置 

六、本文总结 

二、DAT的网络结构思想

论文地址： DAT论文地址

官方地址：官方代码的地址</

了解本专栏 订阅专栏 解锁全文
改进YOLO系列：改进YOLOv8，教你YOLOv8如何添加20多种注意力机制，并实验不同位置。
qq_44224801的博客
04-10 8万+
注意力机制（Attention Mechanism）是深度学习中一种重要的技术，它可以帮助模型更好地关注输入数据中的关键信息，从而提高模型的性能。注意力机制最早在自然语言处理领域的序列到序列（seq2seq）模型中得到广泛应用，后来逐渐扩展到了计算机视觉、语音识别等多个领域。注意力机制的基本思想是为输入数据的每个部分分配一个权重，这个权重表示该部分对于当前任务的重要程度。
YOLOv8改进实战：轻量级下采样模块ContextGuided——在降维同时捕获上下文，小目标AP提升3.8%（附完整适配代码+涨点验证）
最新发布
专注于Python爬虫开发，分享爬虫技巧、项目实战与反爬经验，使用Scrapy、BeautifulSoup等工具，解决数据抓取难题。
10-13 895
本文提出了一种基于上下文引导下采样的YOLOv8改进方案，通过轻量级设计解决传统下采样方法丢失小目标细节和上下文关联的问题。该方案包含三个关键步骤：局部特征提取（深度可分离卷积）、上下文引导模块（全局语义加权）和通道扩展，在仅增加2.3%参数量的情况下，实现了mAP提升2.5%、小目标AP提升3.8%的效果。相比其他下采样方法，ContextGuided在精度和速度间取得了更好平衡。文章详细介绍了模块实现原理和代码适配步骤，为YOLOv8的轻量级改进提供了有效方案。
YOLOv8改进 添加可变形注意力机制DAttention
分享一些自己改进代码的实例
12-29 8037
手把手教你在yolov8原结构中加入可变形注意力机制DAttention，可以根据输入学习调整注意力模式，从而提高网络性能和效率。助力涨点！！！！！！
AIGC算法3：Attention及其变体
量化就是探索生活
04-25 2065
Attention是Transformer的核心部分，Attention机制帮助模型进行信息筛选，通过Q，K，V,对信息进行加工。
YOLOv8改进 | 卷积篇 |手把手教你添加动态蛇形卷积(Dynamic Snake Convolution)
Snu77的博客
10-31 9475
动态蛇形卷积的灵感来源于对管状结构的特殊性的观察和理解，在分割拓扑管状结构、血管和道路等类型的管状结构时，任务的复杂性增加，因为这些结构的局部结构可能非常细长和迂回，而整体形态也可能多变。因此为了应对这个挑战，作者研究团队注意到了管状结构的特殊性，并提出了动态蛇形卷积（Dynamic Snake Convolution）这个方法。动态蛇形卷积通过自适应地聚焦于细长和迂回的局部结构，准确地捕捉管状结构的特征。这种卷积方法的核心思想是，通过动态形状的卷积核来增强感知能力，针对管状结构的特征提取进行优化。
【6-2】YOLOv10添加【CoTAttention】【SimAM】【SKAttention】等注意力机制 【超30种先进模块随心选】【注意力机制篇】
up主为在读研究生，从事cv研究4余年，绝对靠谱。
06-25 2072
本文接续上文介绍YOLOv10如何添加其他先进注意力机制。超30种注意力机制模块，助力文章涨点多多🚀🚀BAM于2018年提出，是一种轻量级的注意力机制，用于提高卷积神经网络的性能。它通过在网络中加入注意力模块来增强网络对重要特征的关注，忽略不重要的信息，从而提升整体表现。BAM的优点轻量级：BAM模块在计算上非常高效，不会显著增加模型的计算复杂度和参数量。兼容性好：BAM可以很容易地嵌入到现有的各种卷积神经网络架构中，提升它们的性能。
【6-3】YOLOv10添加【SGE】【A2Attentio】【GC】等注意力机制 【超30种先进模块随心选】【注意力机制篇】
up主为在读研究生，从事cv研究4余年，绝对靠谱。
06-26 1223
SGE注意力机制通过在特征图的空间维度上进行分组，并在每个组内应用注意力操作，来增强特征的表达能力。它通过对不同空间位置的特征进行有选择性的增强，从而提升模型对语义信息的捕捉能力。其核心思想是将特征图在空间维度上划分为多个组，对每个组内的特征进行注意力增强。这样可以捕捉到局部空间区域的特征相关性，提高特征表示的语义丰富度。局部特征增强：通过在空间维度上分组并应用注意力机制，SGE能够捕捉到局部区域的特征相关性，提高特征表示的语义丰富度。
【6-4】YOLOv10添加【Axial Attention】【HaloAttention】等注意力机制 【超30种先进模块随心选】【注意力机制篇】
up主为在读研究生，从事cv研究4余年，绝对靠谱。
07-04 1284
Axial Attention 是一种高效的注意力机制，专门设计用于多维数据如图像和视频。它通过分解高维注意力操作，分别在各个轴上执行，从而减少计算复杂度并提高模型的效率。Axial Attention 的核心思想是将多维注意力分解为一系列一维的注意力操作，这样可以显著降低计算成本，同时保持全局上下文信息的捕获能力。对于一个二维特征图（例如图像），Axial Attention 分别在水平轴和垂直轴上计算注意力。
YOLOv10改进 | 添加注意力机制 | 添加DAttention (DAT)注意力机制实现极限涨点
Snu77的博客
07-13 1350
本文给大家带来的是YOLOv10改进的教程，其发布于2022年CVPR2022上同时被评选为Best Paper由此可以证明其是一种十分有效的改进机制，其主要的核心思想是引入可变形注意力机制和动态采样点(听着是不是和可变形动态卷积DCN挺相似)。同时在网络结构中引入一个DAT计算量由8.9GFLOPs涨到了9.4GFLOPs。本文的讲解主要包含三方面：DAT的网络结构思想、DAttention的代码复现，如何添加DAttention到你的结构中实现涨点，下面先来分享我测试的对比图。
YOLOv8改进有效系列目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制
热门推荐
Snu77的博客
12-30 17万+
Hello，各位读者们好，本专栏自开设两个月以来已经更新改进教程120+余篇其中包含C2f、主干、检测头、注意力机制、Neck多种结构上创新，也有损失函数和一些细节点上的创新，订阅本专栏以后你不仅可以收获跟专栏的阅读权限，同时可以进Qq群，里面包含集成我所有创新的YOLO最新目录，和我本人录制的视频讲解教程，如果你想要在YOLOv8系列收获一篇论文，我相信订阅本专栏后你一定会有所收获~YOLOv8改进有效系列目录。
YOLOv5改进 | 注意力篇 | DAttention (DAT)注意力机制实现极限涨点
Snu77的博客
12-17 2186
本文给大家带来的是YOLOv5改进DAT的教程，其发布于2022年CVPR2022上同时被评选为Best Paper由此可以证明其是一种十分有效的改进机制，其主要的核心思想是引入可变形注意力机制和动态采样点(听着是不是和可变形动态卷积DCN挺相似)。本文的讲解主要包含三方面：DAT的网络结构思想、DAttention的代码复现，如何添加DAttention到你的结构中实现涨点，下面先来分享我测试的对比图。
【6-1】YOLOv10添加【CBAM】【SE】【CA】【ECA】【BAM】注意力机制 【超30种先进模块随心选】【注意力机制篇】
up主为在读研究生，从事cv研究4余年，绝对靠谱。
06-21 4771
注意力机制（Attention Mechanism）是深度学习中的一种技术，旨在模拟人类注意力的特点，即在处理复杂信息时，能够聚焦于其中的关键部分，从而提高处理效率和效果。它最初在自然语言处理（NLP）领域中被提出，但现已广泛应用于各种深度学习任务，如计算机视觉、语音识别等。本文主要介绍如何在YOLOv10中添加注意力机制，提供了4种经典注意力机制模块供大家学习，使用时可据自己的实际情况进行选择。
YOLOv8改进 | 注意力机制 | 添加TripletAttention三重注意力机制（附代码+机制原理+添加教程）
Snu77的博客
12-06 7384
本文给大家带来的改进是Triplet Attention三重注意力机制。这个机制，它通过三个不同的视角来分析输入的数据，就好比三个人从不同的角度来观察同一幅画，然后共同决定哪些部分最值得注意。三重注意力机制的主要思想是在网络中引入了一种新的注意力模块，这个模块包含三个分支，分别关注图像的不同维度。比如说，一个分支可能专注于图像的宽度，另一个分支专注于高度，第三个分支则聚焦于图像的深度，即色彩和纹理等特征。这样一来，网络就能够更全面地理解图像内容，就像是得到了一副三维眼镜，能够看到图片的立体效果一样。
YOLOv10改进教程|C2f-CIB加入注意力机制
深度学习炼丹师，偶尔分享炼丹技术!
07-01 4879
将yolov10n.yaml文件中的C2fCIB替换为C2fCIBAttention。在nn.models.__init__.py中声明 C2fCIBAttention。在train.py脚本中填入yolov10n.yaml路径，运行即可训练。打开ultralytics->nn->tasks.py，如图所示操作。并在上方声明C2fCIBAttention类。
YOLOV8注意力改进方法：Deformable Attention Transformer（附改进代码）
m0_74890428的博客
04-08 1820
们提出了一种新的可变形的自注意模块，其中以数据相关的方式选择自注意中的键-值对的位置。这种灵活的方案使自注意模块能够专注于相关区域并捕获其特征。在此基础上，我们提出了Deformable Attention Transformer，这是一种用于图像分类和密集预测任务的具有可变形注意力的通用主干模型。大量实验表明，我们的模型在综合基准上取得了持续改进的结果。
（包成功）零基础手把手教你YOLOv8添加CBAM、SE、CA等大量注意力机制（小白必看）（毕设必看）
anzhi_1211的博客
03-19 1万+
博客主要详细教学了在YOLOv8中添加注意力机制的超详细步骤，基本大家只要按步骤来就肯定可以复现成功，后续博主也会再更新一些关于YOLOv8的其他改进方法，期待大家多多关注！！！大家有想看的内容也可以在评论区留言！
YOLOv10改进 | 添加注意力机制篇 | 添加FocusedLinearAttention助力yolov10实现有效涨点（含二次创新PSA机制）
Snu77的博客
07-09 1155
本文给大家带来的改进机制是（聚焦线性注意力）是一种用于视觉Transformer模型的注意力机制(但是其也可以用在我们的YOLO系列当中从而提高检测精度)，旨在提高效率和表现力。其解决了两个在传统线性注意力方法中存在的问题：聚焦能力和特征多样性。这种方法通过一个高效的映射函数和秩恢复模块来提高计算效率和性能，使其在处理视觉任务时更加高效和有效。简言之，Focused Linear Attention是对传统线性注意力方法的一种重要改进，提高了模型的聚焦能力和特征表达的多样性。通过本文你能够了解到。
YOLOv8v10改进 | 注意力篇 | 手把手教你在YOLOv10上添加LSKAttention大核注意力机制（助力小目标检测极限涨点）
Ai缝合怪、助力小伙伴高效发论文
09-09 1003
摘要：带有大型内核注意力 （LKA） 模块的视觉注意力网络 （VAN） 已被证明在一系列基于视觉的任务中提供了卓越的性能，超过了视觉转换器 （ViTs）。然而，随着卷积核大小的增加，这些 LKA 模块中的深度卷积层会导致计算和内存占用量呈二次方增加。为了缓解这些问题，并在 VAN 的注意力模块中使用非常大的卷积内核，我们提出了一个大型可分离内核注意力模块系列，称为 LSKA。LSKA 将深度卷积层的 2D 卷积核分解为级联的水平和垂直 1-D 核。
适合yolov8目标检测的注意力机制
02-24
### 适用于YOLOv8目标检测的注意力机制 对于YOLOv8而言，存在多种有效的注意力机制可以被集成以提高模型性能。两种主要类型的注意力机制分别是DAttention（DAT）和全局注意力机制（GAM）。这两种方法均能有效改善特征提取的质量，从而提升检测精度。 #### DAttention (DAT) 注意力机制 DAttention是一种动态自适应的空间注意力模块[^1]。它能够根据不同位置的重要性自动调整权重分配，在保持计算效率的同时增强了空间维度上重要区域的关注度。具体来说，DAttention通过学习输入特征图中的相互依赖关系来生成更具有区分性的表示形式。这有助于突出显示图像中有意义的部分，并抑制无关紧要的信息干扰。 ```python import torch.nn as nn class DAT(nn.Module): def __init__(self, channels): super(DAT, self).__init__() # 定义卷积层和其他必要的组件 def forward(self, x): # 实现前向传播逻辑 pass ``` #### 全局注意力机制 (GAM) 另一方面，全局注意力机制旨在捕捉整个图片范围内的上下文信息[^2]。这种技术通过对所有像素点之间的关联性建模，使得网络能够在更大范围内理解场景内容。这对于处理小尺寸的目标尤其有用，因为它们可能只占据很小一部分画面却依然需要准确识别出来。 ```python import torch.nn.functional as F def global_attention_module(features): batch_size, channel_num, height, width = features.size() spatial_atten = F.avg_pool2d(features, kernel_size=(height, width)) scale_factor = F.sigmoid(spatial_atten).unsqueeze(-1).unsqueeze(-1) attended_features = scale_factor * features return attended_features ``` ### 如何实现和集成到模型中？ 为了将上述提到的任何一种注意力机制应用于YOLOv8架构内： - **修改配置文件**：更新YOLOv8对应的`.yaml`配置文档，指定新增加的注意力层的位置及其参数设置。 - **编写代码片段**：创建新的Python类定义所选注意力机制的具体行为；确保此类继承自PyTorch的基础神经元基类(`nn.Module`)以便于后续操作。 - **嵌入至主干网路**：找到适合插入注意力单元的地方——通常是在骨干网络结束之后但在预测头之前的最佳实践表明这样做可以获得最佳效果。 - **训练微调**：完成以上更改后重新编译项目并执行一轮完整的训练流程直至收敛稳定为止。
评论 15
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Snu77

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值