YOLOv9改进策略 | 添加注意力篇 | CGAttention实现级联群体注意力机制 (全网首发改进)

最新推荐文章于 2025-05-20 11:39:33 发布
最新推荐文章于 2025-05-20 11:39:33 发布
阅读量1.7k 收藏 27
点赞数 11
CC 4.0 BY-SA版权
分类专栏： YOLOv9有效涨点专栏 文章标签： YOLO 人工智能 深度学习 python 计算机视觉 yolov9 目标检测
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/java1314777/article/details/138549643
本文介绍了CascadedGroupAttention（CGA）的原理和在YOLOv9中的实现方法，通过级联群体注意力机制减少计算冗余，提升模型容量。作者分享了CGA的核心代码、添加步骤、yaml配置文件及训练过程，旨在提高目标检测性能。

一、本文介绍

本文给大家带来的改进机制是实现级联群体注意力机制CascadedGroupAttention，其主要思想为增强输入到注意力头的特征的多样性。与以前的自注意力不同，它为每个头提供不同的输入分割，并跨头级联输出特征。这种方法不仅减少了多头注意力中的计算冗余，而且通过增加网络深度来提升模型容量，亲测在我的25个类别的数据上，大部分的类别均有一定的涨点效果，仅有部分的类别保持不变，同时给该注意力机制含有二次创新的机会。

欢迎大家订阅我的专栏一起学习YOLO！

 专栏地址：YOLOv9有效涨点专栏-持续复现各种顶会内容-有效涨点-全网改进最全的专栏 

目录

一、本文介绍

二、 CascadedGroupAttention的基本原理

三、CGA的核心代码

四、CGA的添加方式 

4.1 CGA添加步骤

4.1.1 修改一

4.1.2 修改二

4.1.3 修改三 

4.1.4 修改四

4.2 CGA的yaml文件和训练截图

4.2.1 CGA的yaml版本一(推荐)

4.2.2 CGA的yaml版本二

4.3 CGA的训练过程截图 

五、本文总结

二、 CascadedGroupAttention的基本原理

​​

官方论文地址： 官方论文地址点击即可跳转

官方代码地址： 官方代码地址点击即可跳转

了解本专栏 订阅专栏 解锁全文
【YOLOv8改进 - 注意力机制】 CascadedGroupAttention：级联组注意力，增强视觉Transformer中多头自注意力机制的效率和有效性
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-02 1048
视觉Transformer由于其强大的模型能力，已经展示了巨大的成功。然而，其显著的性能伴随着高计算成本，这使得它们不适合实时应用。在本文中，我们提出了一系列高速视觉Transformer，命名为EfficientViT。我们发现现有Transformer模型的速度通常受限于内存效率低的操作，尤其是MHSA中的张量重塑和元素级函数。因此，我们设计了一个新的构建块，采用三明治布局，即在高效的FFN层之间使用单个内存绑定的MHSA，以提高内存效率同时增强通道通信。
YOLOv8改进 | 注意力机制 | 实现级联群体注意力机制CGAttention (添加注意力机制，全新改进策略)
Snu77的博客
01-14 4951
CGA模块位于图中的(c)部分，可以看到它的作用是处理输入特征，并提供分级的注意力机制。另外，通过串联的方式，每个头的输出都会添加到下一个头的输入中，从而逐步精化特征表示。级联组注意力的关键点在于每个注意力头只关注输入的一部分，然后把所有头的注意力合并起来，来获取一个全面的特征表示。这样做的好处是减少了计算重复并增加了注意力的多样性，因为不同的头可能会关注输入的不同方面。3. 增加了网络深度，从而进一步提高了模型容量，同时只增加了很小的延迟开销，因为每个头的 QK 通道维度较小。
YOLO11改进-注意力-引入级联组注意力机制(Cascaded Group Attention, CGA）
qq_64693987的博客
12-24 2182
输入特征拆分：输入特征进入 CGA 模块后，被均匀拆分为个部分，每个部分作为一个注意力头的输入，这样每个头关注输入特征的不同部分，实现特征的并行处理，同时为提高注意力多样性奠定基础。注意力头计算单元：每个注意力头包含三个线性投影层、、用于将输入特征映射到不同子空间，以及计算自注意力的单元。在计算过程中，通过注意力头之间的级联操作，前一个头的输出会累加到下一个头的输入上，实现特征的逐步细化。
YOLO12改进-模块-引入Cascaded Group Attention（CGA）模块 提升小目标检测和复杂场景下的定位精度。
最新发布
qq_64693987的博客
05-20 1287
视觉Transformer中的多头自注意力（MHSA）存在计算冗余问题，不同注意力头学习到的特征相似性较高，导致资源浪费。为解决这一问题，提出了CGA（Cascaded Group Attention）方法，通过特征分解和头间级联机制降低冗余并提升计算效率。CGA将输入特征沿通道维度划分为多个子特征，每个注意力头仅处理特定子特征，避免重复计算。同时，前一头的输出与当前头的输入级联，逐步优化特征表示，增强模型对多尺度特征的捕捉能力。CGA还可与YOLOv12结合，提升目标检测性能，尤其适用于小目标检测。具体实
YOLOv10改进 | 注意力篇 | YOLOv10引入EfficientViT的Cascaded Group Attention注意力（助力涨点）
tsg6698的博客
06-26 899
为了解决这个问题，我们提出了一个级联的组注意力模块，为注意力头提供完整特征的不同分割，这不仅节省了计算成本，而且提高了注意力多样性。在传统的MHSA中，所有头部通常使用相同的全部特征进行自注意力运算，这导致了不同头部之间在学习线性投影时的相似性高，从而引发计算上的冗余。到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv10改进有效涨点专栏，后期我会根据各种最新的前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~
YOLOv11改进 | 添加注意力篇 | 实现级联群体注意力机制CGAttention改进C2PSA机制 (全网独家首发)
Snu77的博客
11-03 2712
本文给大家带来的改进机制是实现级联群体注意力机制，其主要思想为增强输入到注意力头的特征的多样性。与以前的自注意力不同，它为每个头提供不同的输入分割，并跨头级联输出特征。这种方法不仅减少了多头注意力中的计算冗余，而且通过增加网络深度来提升模型容量，亲测在我的25个类别的数据上，大部分的类别均有一定的涨点效果，仅有部分的类别保持不变，同时给该注意力机制含有二次创新的机会欢迎大家订阅我的专栏一起学习YOLO！YOLOv11改进系列专栏——本专栏持续复习各种顶会内容——科研必备目录一、本文介绍。
YOLOv9改进策略目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制
Snu77的博客
05-13 1万+
Hello，各位读者们好本专栏自开设两个月以来已经更新改进教程50余篇其中包含RepNCSPELAN4、主干、检测头、注意力机制、Neck多种结构上创新，也有损失函数和一些细节点上的创新。同时本人一些讲解视频和包含我所有创新的YOLOv9文档并不能在优快云上传(所有的创新点都经过我的测试是可用的，得到该文件之后大家可以随意组合使用)，所以会建立群的形式在内上传我的文件和视频我也会在群内不定期和大家交流回答大家问题，同时定期会更新一些文章的创新点(经过我融合测试后的，先到先得)。
YOLOv8改进有效系列目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制
热门推荐
Snu77的博客
12-30 17万+
Hello，各位读者们好，本专栏自开设两个月以来已经更新改进教程120+余篇其中包含C2f、主干、检测头、注意力机制、Neck多种结构上创新，也有损失函数和一些细节点上的创新，订阅本专栏以后你不仅可以收获跟专栏的阅读权限，同时可以进Qq群，里面包含集成我所有创新的YOLO最新目录，和我本人录制的视频讲解教程，如果你想要在YOLOv8系列收获一篇论文，我相信订阅本专栏后你一定会有所收获~YOLOv8改进有效系列目录。
YOLOv5改进 | 注意力篇 | CGAttention实现级联群体注意力机制 (全网首发改进)
Snu77的博客
01-14 1241
本文给大家带来的改进机制是实现级联群体注意力机制，其主要思想为增强输入到注意力头的特征的多样性。与以前的自注意力不同，它为每个头提供不同的输入分割，并跨头级联输出特征。这种方法不仅减少了多头注意力中的计算冗余，而且通过增加网络深度来提升模型容量，亲测在我的25个类别的数据上，大部分的类别均有一定的涨点效果，仅有部分的类别保持不变，同时给该注意力机制含有二次创新的机会欢迎大家订阅我的专栏一起学习YOLO！YOLOv5改进有效涨点目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制。
CVPR 2023 | EfficientViT: Memory Efficient Vision Transformer with Cascaded Group Attention
画心
05-15 1万+
EfficientViT，推理更快的ViT。
【YOLOv10改进[注意力]】添加注意力CascadedGroupAttention(2023) + 含全部代码和详细修改方式 + 手撕结构图 + 全网首发
静谧、淡雅
06-19 528
添加注意力CascadedGroupAttention(2023) + 含全部代码和详细修改方式 + 手撕结构图 + 全网首发
【CVPR 2023】EfficientViT: Memory Efficient Vision Transformer with Cascaded Group Attention
m0_61899108的博客
10-03 7852
Vision Transformer由于其高度的建模能力而取得了巨大的成功。然而，它们的卓越性能伴随着沉重的计算代价，不适合于实时应用。本文提出了一个高速ViT，即EfficientViT。论文发现，现有的Transformer模型的速度通常受到访存效率低的操作的限制，尤其是在MHSA中的张量重塑和逐元素函数。因此，论文设计了一种新的三明治布局的构建块，即在有效的FFN层之间使用单个内存受限的MHSA，在增强通道通信的同时提高了访存效率。此外，注意力图在头部之间有很高的相似性，导致计算冗余。
【RT-DETR有效改进】利用EMAttention加深网络深度提高模型特征提取能力（特征选择模块）
Snu77的博客
02-17 2674
本文给大家带来的改进机制是EMAttention注意力机制，它的核心思想是，重塑部分通道到批次维度，并将通道维度分组为多个子特征，以保留每个通道的信息并减少计算开销。EMA模块通过编码全局信息来重新校准每个并行分支中的通道权重，并通过跨维度交互来捕获像素级别的关系。本文改进是基于ResNet18、ResNet34、ResNet50、ResNet101，文章中均以提供，本专栏的改进内容全网独一份深度改进RT-DETR非那种无效Neck部分改进，
YOLOv11改进 | 添加注意力机制篇 | 混合局部通道注意力MLCA二次创新C2PSA机制助力YOLOv11有效涨点
Snu77的博客
10-13 4154
本文带来的改进机制是翻译来就是混合局部通道注意力，它结合了局部和全局特征以及通道和空间特征的信息，根据文章的内容来看他是一个轻量化的注意力机制，能够在增加少量参数量的情况下从而大幅度的提高检测精度(论文中是如此描述的)，根据我的实验内容来看，该注意力机制确实参数量非常少，效果也算不错，而且官方的代码中提供了二次创新的思想和视频讲解非常推荐大家观看。YOLOv11改进系列专栏——本专栏持续复习各种顶会内容——科研必备目录一、本文介绍二、MLCA的基本框架原理三、MLCA的核心代码四、手把手教你添加MLCA。
YOLOv8独家原创改进： 特征融合创新 | 一种基于内容引导注意力(CGA)的混合融合，实现暴力涨点 | IEEE TIP 2024 浙大
①答疑群聊服务；②YOLO大模型知识问答系统；③计算机视觉论文生成智能体；
05-11 2673
一种基于内容引导注意力(CGA)的混合融合，实现暴力涨点
内容引导注意力CGA详解及代码复现
hasakie的博客
01-24 1002
例如，在图像分类任务中，可能会选择较小的注意力头数量和较浅的网络深度，而在语义分割任务中，可能需要更多的注意力头和更深的网络结构。例如，在图像分类任务中，模型可能会将更多注意力集中在包含目标物体的区域，而在语义分割任务中，它可能会重点关注不同物体的边界区域。在CGA架构中，空间注意力机制是一个关键组成部分，它通过动态调整输入特征图的空间权重，使模型能够聚焦于图像中的重要区域。这种创新的注意力机制通过独特的设计，有效解决了传统Transformer中多头注意力的计算冗余问题，同时提高了模型的容量和性能。
YOLOv11改进 | 添加注意力机制篇 | 2024最新适用于遥感目标检测的注意力机制CAA二次创新C2PSA机制（全网独家首发）
Snu77的博客
11-09 3995
本文给大家带来的2024最新改进机制是PKINet网络提出的CAA注意力机制， 其首先通过平均池化和一个 1x1 卷积获取局部区域的特征。接着应用两个深度分离的条状卷积，一个是水平方向，另一个是垂直方向。这种条状卷积可以模拟大核卷积，但计算成本低，轻量化。这种配置在捕捉桥梁等拉长的物体结构上特别有效。本文将其用于二次创新PSA和另外一种使用方式，本文内容为个人整理，文章内含有代码 + 添加教程 + 使用方式。欢迎大家订阅我的专栏一起学习YOLO！
【YOLOv10改进[注意力]】使用注意力CascadedGroupAttention(2023)改进C2f + 含全部代码和详细修改方式 + 手撕结构图 + 全网首发
静谧、淡雅
06-19 357
使用注意力CascadedGroupAttention(2023)改进C2f + 含全部代码和详细修改方式 + 手撕结构图 + 全网首发
内容引导注意力特征融合CGAfusion
qq_45371200的博客
03-23 4775
计算机视觉即插即用模块。0.5一个。进行模块缝合，水论文，原文用于图像去雾。自己也可以用于分割等。
YOLOv8引入LSKA注意力机制提升多尺度特征聚合能力
本文所提出的改进方案聚焦于YOLOv8中的SPPF（Spatial Pyramid Pooling Fast）模块，并引入了一种新颖的注意力机制——LSKA（Large-Separable-Kernel-Attention），旨在提升模型在多尺度特征聚合方面的能力，同时优化...
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Snu77

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值