YOLOv5改进 | 注意力篇 | CGAttention实现级联群体注意力机制 (全网首发改进)

已于 2024-02-21 22:06:31 修改
阅读量1.2k 收藏 5
点赞数 4
CC 4.0 BY-SA版权
分类专栏： YOLOv5改进有效专栏 文章标签： YOLO 目标检测 深度学习 人工智能 pytorch python 计算机视觉
于 2024-01-14 05:45:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/java1314777/article/details/135575715
本文介绍了CascadedGroupAttention（CGA）的原理和实现，这是一种在目标检测模型YOLOv5中提高特征多样性和减少计算冗余的注意力机制。通过将输入分割并分配给不同头部，CGA级联输出，增强了模型的深度和效率。文中提供了CGA的添加步骤、yaml配置文件和训练过程截图。

一、本文介绍

本文给大家带来的改进机制是实现级联群体注意力机制CascadedGroupAttention，其主要思想为增强输入到注意力头的特征的多样性。与以前的自注意力不同，它为每个头提供不同的输入分割，并跨头级联输出特征。这种方法不仅减少了多头注意力中的计算冗余，而且通过增加网络深度来提升模型容量，亲测在我的25个类别的数据上，大部分的类别均有一定的涨点效果，仅有部分的类别保持不变，同时给该注意力机制含有二次创新的机会。

欢迎大家订阅我的专栏一起学习YOLO！

专栏目录：YOLOv5改进有效涨点目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制

专栏回顾：YOLOv5改进专栏——持续复现各种顶会内容——内含100+创新

目录

一、本文介绍

二、 CascadedGroupAttention的基本原理

三、CGA的核心代码

四、CGA的添加方式 

4.1 修改一

4.2 修改二 

4.3 修改三 

4.4 修改四 

五、CGA的yaml文件和运行记录

5.1 CGA的yaml文件一

5.2 CGA的yaml文件二

5.3 CGA的yaml文件三

5.4 CGA的训练过程截图 

五、本文总结

二、 CascadedGroupAttention的基本原理

​

官方论文地址： 官方论文地址点击即可跳转

官方代码地址： 官方代码地址点击即可跳转

了解本专栏 订阅专栏 解锁全文
YOLOv8【第四章：注意力机制篇·第7节】一文讲透，自注意力与交叉注意力协同设计！
**My Coding Family**
11-08 1040
🏆 本文收录于 《YOLOv8实战：从入门到深度优化》，该专栏持续复现网络上各种热门内容(全网YOLO改进最全最新的专栏，质量分97分+，全网顶流)，改进内容支持(分类、检测、分割、追踪、关键点、OBB检测)。且专栏会随订阅人数上升而涨价(毕竟不断更新)，当前性价比极高，有一定的参考&学习价值，部分内容会基于现有的国内外顶尖人工智能AIGC等AI大模型技术总结改进而来，嘎嘎硬核。
YOLO11改进-注意力-引入级联组注意力机制(Cascaded Group Attention, CGA）
qq_64693987的博客
12-24 2206
输入特征拆分：输入特征进入 CGA 模块后，被均匀拆分为个部分，每个部分作为一个注意力头的输入，这样每个头关注输入特征的不同部分，实现特征的并行处理，同时为提高注意力多样性奠定基础。注意力头计算单元：每个注意力头包含三个线性投影层、、用于将输入特征映射到不同子空间，以及计算自注意力的单元。在计算过程中，通过注意力头之间的级联操作，前一个头的输出会累加到下一个头的输入上，实现特征的逐步细化。
EfficientViT(2023CVPR)：具有级联组注意力的内存高效视觉Transformer!
m0_63294504的博客
09-25 3575
在本文中，作者对影响视觉Transformer推理速度的因素进行了系统分析，并提出了一种具有内存操作高效和级联组注意力的新型快速视觉Transformer系列，名为 EfficientViT。大量的实验证明了EfficientViT的功效和高速，并且在各种下游基准测试上也显示了其优越性。
级联注意力
weixin_46516242的博客
03-22 1718
什么是级联注意力
YOLOv8改进，YOLOv8添加CGAttention注意力机制(级联群体注意力机制)
在职AI算法工程师，擅长计算机视觉，YOLO目标检测、分割等，擅长web、pyqt界面可视化，好内容持续更新中，来这里跟大家一起学习，共同进步
08-08 446
现有Transformer模型的速度通常受限于内存效率低的操作，特别是在多头自注意力中的张量重塑和逐元素函数。因此，我们设计了一个具有三明治布局的新构建块，即在高效的前馈网络层之间使用单个内存受限的MHSA，以提高内存效率，同时增强通道间通信。此外，注意力图在各个头之间有很高的相似性，这导致了计算冗余。为了解决这个问题，提出了一个CGAttention(级联组注意力模块)，通过不同的特征分割来馈送注意力头，这不仅节省了计算成本，还提高了注意力的多样性
目标检测——day49 基于级联注意力与点监督机制的考场目标检测模型
想太多的学习日志
10-29 1060
该模块首先以骨干网络的特征图作为输入, 通过 空间注意力机制得到具有空间注意力的一级特征;最后, 对 一级特征、二级特征、三级特征进行拼接融合, 并将融合后的特征输入至通道注意力机制中, 抑制无用通道 进一步增强特征.FCOS采用的逐像素预测的方式, 使之适用于目标密集分布时的检测问题(比如考场的目标检测等).，为了整合不同尺度的感兴趣细节信息, 受级联思想启发, 我们利用级联结构把空间注意力机制和通道注 意力机制相结合, 得到级联注意力模块。入该点监督机制, 能够使网络捕捉到目标的中心点及其附近的信息.
基于EfficientViT的YOLOv11目标检测增强实战：Cascaded Group Attention模块深度集成与性能优化指南
最新发布
m0_64661770的博客
07-03 142
本文介绍了EfficientViT提出的Cascaded Group Attention（CGA）机制在YOLOv11中的应用，通过分组级联设计显著提升了目标检测模型的效率与性能。CGA机制将特征通道分组处理并引入级联连接，计算量减少42%，内存占用降低35%，在COCO数据集上mAP提升2.3%，高分辨率推理速度提升1.6倍。文章详细解析了CGA的核心技术实现，包括分组注意力算法、窗口注意力机制以及量化感知训练等优化技巧，并提供了YOLOv11集成CGA的实战配置方案，为移动端和边缘设备部署高效目标检测模
YOLOv9改进策略 | 添加注意力篇 | CGAttention实现级联群体注意力机制 (全网首发改进)
Snu77的博客
05-08 1789
本文给大家带来的改进机制是实现级联群体注意力机制，其主要思想为增强输入到注意力头的特征的多样性。与以前的自注意力不同，它为每个头提供不同的输入分割，并跨头级联输出特征。这种方法不仅减少了多头注意力中的计算冗余，而且通过增加网络深度来提升模型容量，亲测在我的25个类别的数据上，大部分的类别均有一定的涨点效果，仅有部分的类别保持不变，同时给该注意力机制含有二次创新的机会。欢迎大家订阅我的专栏一起学习YOLO！YOLOv5改进有效涨点目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制。
YOLOv11改进 | 添加注意力篇 | 实现级联群体注意力机制CGAttention改进C2PSA机制 (全网独家首发)
Snu77的博客
11-03 2738
本文给大家带来的改进机制是实现级联群体注意力机制，其主要思想为增强输入到注意力头的特征的多样性。与以前的自注意力不同，它为每个头提供不同的输入分割，并跨头级联输出特征。这种方法不仅减少了多头注意力中的计算冗余，而且通过增加网络深度来提升模型容量，亲测在我的25个类别的数据上，大部分的类别均有一定的涨点效果，仅有部分的类别保持不变，同时给该注意力机制含有二次创新的机会欢迎大家订阅我的专栏一起学习YOLO！YOLOv11改进系列专栏——本专栏持续复习各种顶会内容——科研必备目录一、本文介绍。
YOLOv8改进有效系列目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制
Snu77的博客
12-30 17万+
Hello，各位读者们好，本专栏自开设两个月以来已经更新改进教程120+余篇其中包含C2f、主干、检测头、注意力机制、Neck多种结构上创新，也有损失函数和一些细节点上的创新，订阅本专栏以后你不仅可以收获跟专栏的阅读权限，同时可以进Qq群，里面包含集成我所有创新的YOLO最新目录，和我本人录制的视频讲解教程，如果你想要在YOLOv8系列收获一篇论文，我相信订阅本专栏后你一定会有所收获~YOLOv8改进有效系列目录。
YOLOv11改进有效涨点专栏目录 | 含卷积、主干、注意力机制、Neck、检测头、损失函数、二次创新C2PSA/C3k2等各种网络结构改进
Snu77的博客
11-05 7万+
Hello，各位读者们好.本文为最新YOLOv11有效涨点专栏目录，YOLOv11以及发布了一个月左右，这个过程中我也是给大家整理了许多的机制，其中包含了C3k2、主干（均支持根据yolov11训练的版本进行二次缩放，全系列都能轻量化）、检测头、注意力机制、Neck多种结构上创新，也有损失函数和一些细节点上的创新。
【机器学习合集】模型设计之注意力机制&动态网络 -＞（个人学习记录笔记）
slience_me的博客
10-31 1749
【机器学习合集】模型设计之注意力机制&动态网络 -＞（个人学习记录笔记）
yolov5原理详解 (涉及内容：Yolov5框架，各组件分析，特征融合是怎么实现的？yolov5的具体特征融合方式等)
分享计算机视觉，C++，网络摄像头研发，音视频开发，嵌入式等知识。
09-25 4万+
大小的输入图片 4 个像素分别取 1 个（类似于邻近下采样）形成新的图片，这样 1 个通道的输入图片会被划分成 4 个通道，每个通道对应的 WH 尺寸大小都为原来的 1/2，并将这些通道组合在一起。以 Yolov5s 的结构为例，原始 640x640x3 的图像输入 Focus 结构，采用切片操作，先变成 320×320×12 的特征图，再经过一次 32 个卷积核的卷积操作，最终变成 320×320×32 的特征图。最后，输出端是模型预测的结果，包括每个目标的类别和其对应的边界框坐标等信息。
EfficientViT: 高效视觉transformer与级联组注意力
AI浩
10-08 2364
由于视觉transformers具有高度的模型能力，因此它们在视觉任务上取得了巨大的成功。然而，这种出色的性能同时也伴随着沉重的计算成本，使得它们不适合用于实时应用。在这篇文章中，我们提出了一种名为EfficientViT的高效transformers系列。我们发现，现有transformer模型的运行速度通常受到内存效率低下的操作的限制，特别是多头自注意力机制（MHSA）中的张量重塑和逐元素函数。
图解自注意力机制(Self-Attention)
datayx的文章
04-10 971
向AI转型的程序员都关注了这个号????????????一、注意力机制和自注意力机制的区别Attention机制与Self-Attention机制的区别传统的Attention机制发生在Target的元素和Source中的所有元素之间。简单讲就是说Attention机制中的权重的计算需要Target来参与。即在Encoder-Decoder 模型中，Attention权值的计算不仅需要Encoder中的隐状态而且还...
一文彻底搞懂深度学习：注意力机制（Attention Mechanism）
star_nwe的博客
11-07 3万+
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
手把手带你 YOLOv5/v7 添加注意力机制（并附上30多种顶会Attention原理图）2024/2/5更新
热门推荐
YOLOv8项目贡献者
04-27 20万+
YOLOv5/v7 添加注意力机制教程 2023/6/15更新🍀🍀🍀
YOLOv5添加注意力机制的具体步骤
thy0000的博客
06-06 2万+
本文主要介绍了 本文在此篇博客的基础上向YOLOv5-5.0版 本文主要包括以下内容一、CBAM注意力机制添加（1）修改yolov5s主干网络（2）在common.py中添加可调用的CBAM模块（3）向yolo.py文件添加CBAMC3判断语句二、SE注意力机制添加 本文以yolov5s网络为例 一、CBAM注意力机制添加 注意力机制可以添加在backbone，Neck，Head等部分，接下来本文以backbone主干网络为例 （1）修改yolov5s主干网络 1.在yolov5-5.0工程文件夹下，找到m
YOLOv8引入LSKA注意力机制提升多尺度特征聚合能力
本文所提出的改进方案聚焦于YOLOv8中的SPPF（Spatial Pyramid Pooling Fast）模块，并引入了一种新颖的注意力机制——LSKA（Large-Separable-Kernel-Attention），旨在提升模型在多尺度特征聚合方面的能力，同时优化...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Snu77

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值