YOLOv11改进 | 添加注意力篇 | 实现级联群体注意力机制CGAttention改进C2PSA机制 (全网独家首发)

已于 2024-11-19 22:46:49 修改
阅读量2.1k 收藏 21
点赞数 24
分类专栏： YOLOv11有效涨点专栏 文章标签： YOLO 人工智能 目标检测 深度学习 YOLOv11 python 计算机视觉
于 2024-11-03 00:42:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/java1314777/article/details/142906088
版权

一、本文介绍

本文给大家带来的改进机制是实现级联群体注意力机制CascadedGroupAttention，其主要思想为增强输入到注意力头的特征的多样性。与以前的自注意力不同，它为每个头提供不同的输入分割，并跨头级联输出特征。这种方法不仅减少了多头注意力中的计算冗余，而且通过增加网络深度来提升模型容量，亲测在我的25个类别的数据上，大部分的类别均有一定的涨点效果，仅有部分的类别保持不变，同时给该注意力机制含有二次创新的机会

欢迎大家订阅我的专栏一起学习YOLO！

  专栏回顾：YOLOv11改进系列专栏——本专栏持续复习各种顶会内容——科研必备

目录

  一、本文介绍

二、 CascadedGroupAttention的基本原理

三、CGA的核心代码

四、CGA的添加方式 

4.1 修改一

4.2 修改二 

4.3 修改三 

4.4 修改四 

五、CGA的yaml文件和运行记录

5.1 CGA的yaml文件一

5.2 CGA的yaml文件二

了解本专栏 订阅专栏 解锁全文
【YOLOv8改进 - 注意力机制】 CascadedGroupAttention：级联组注意力，增强视觉Transformer中多头自注意力机制的效率和有效性
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-02 821
视觉Transformer由于其强大的模型能力，已经展示了巨大的成功。然而，其显著的性能伴随着高计算成本，这使得它们不适合实时应用。在本文中，我们提出了一系列高速视觉Transformer，命名为EfficientViT。我们发现现有Transformer模型的速度通常受限于内存效率低的操作，尤其是MHSA中的张量重塑和元素级函数。因此，我们设计了一个新的构建块，采用三明治布局，即在高效的FFN层之间使用单个内存绑定的MHSA，以提高内存效率同时增强通道通信。
YOLOv8改进 | 注意力机制 | 实现级联群体注意力机制CGAttention (添加注意力机制，全新改进策略)
Snu77的博客
01-14 4574
CGA模块位于图中的(c)部分，可以看到它的作用是处理输入特征，并提供分级的注意力机制。另外，通过串联的方式，每个头的输出都会添加到下一个头的输入中，从而逐步精化特征表示。级联组注意力的关键点在于每个注意力头只关注输入的一部分，然后把所有头的注意力合并起来，来获取一个全面的特征表示。这样做的好处是减少了计算重复并增加了注意力的多样性，因为不同的头可能会关注输入的不同方面。3. 增加了网络深度，从而进一步提高了模型容量，同时只增加了很小的延迟开销，因为每个头的 QK 通道维度较小。
YOLOv11改进 | 添加注意力机制 | 轻量化iRMB倒置残差块注意力机制（含二次创新C3k2、C2PSA）
最新发布
m0_64858060的博客
03-02 2385
YOLOv11改进 | 添加注意力机制 | 轻量化iRMB倒置残差块注意力机制（含二次创新C3k2、C2PSA）
YOLO11改进-注意力-引入级联组注意力机制(Cascaded Group Attention, CGA）
qq_64693987的博客
12-24 1712
输入特征拆分：输入特征进入 CGA 模块后，被均匀拆分为个部分，每个部分作为一个注意力头的输入，这样每个头关注输入特征的不同部分，实现特征的并行处理，同时为提高注意力多样性奠定基础。注意力头计算单元：每个注意力头包含三个线性投影层、、用于将输入特征映射到不同子空间，以及计算自注意力的单元。在计算过程中，通过注意力头之间的级联操作，前一个头的输出会累加到下一个头的输入上，实现特征的逐步细化。
YOLOv10改进 | 注意力篇 | YOLOv10引入EfficientViT的Cascaded Group Attention注意力（助力涨点）
tsg6698的博客
06-26 831
为了解决这个问题，我们提出了一个级联的组注意力模块，为注意力头提供完整特征的不同分割，这不仅节省了计算成本，而且提高了注意力多样性。在传统的MHSA中，所有头部通常使用相同的全部特征进行自注意力运算，这导致了不同头部之间在学习线性投影时的相似性高，从而引发计算上的冗余。到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv10改进有效涨点专栏，后期我会根据各种最新的前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~
CVPR 2023 | EfficientViT: Memory Efficient Vision Transformer with Cascaded Group Attention
画心
05-15 1万+
EfficientViT，推理更快的ViT。
YOLOv9改进策略 | 添加注意力篇 | CGAttention实现级联群体注意力机制 (全网首发改进)
Snu77的博客
05-08 1718
本文给大家带来的改进机制是实现级联群体注意力机制，其主要思想为增强输入到注意力头的特征的多样性。与以前的自注意力不同，它为每个头提供不同的输入分割，并跨头级联输出特征。这种方法不仅减少了多头注意力中的计算冗余，而且通过增加网络深度来提升模型容量，亲测在我的25个类别的数据上，大部分的类别均有一定的涨点效果，仅有部分的类别保持不变，同时给该注意力机制含有二次创新的机会。欢迎大家订阅我的专栏一起学习YOLO！YOLOv5改进有效涨点目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制。
YOLOv8改进有效系列目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制
热门推荐
Snu77的博客
12-30 15万+
Hello，各位读者们好，本专栏自开设两个月以来已经更新改进教程120+余篇其中包含C2f、主干、检测头、注意力机制、Neck多种结构上创新，也有损失函数和一些细节点上的创新，订阅本专栏以后你不仅可以收获跟专栏的阅读权限，同时可以进Qq群，里面包含集成我所有创新的YOLO最新目录，和我本人录制的视频讲解教程，如果你想要在YOLOv8系列收获一篇论文，我相信订阅本专栏后你一定会有所收获~YOLOv8改进有效系列目录。
YOLOv11改进有效涨点专栏目录 | 含卷积、主干、注意力机制、Neck、检测头、损失函数、二次创新C2PSA/C3k2等各种网络结构改进
Snu77的博客
11-05 5万+
Hello，各位读者们好.本文为最新YOLOv11有效涨点专栏目录，YOLOv11以及发布了一个月左右，这个过程中我也是给大家整理了许多的机制，其中包含了C3k2、主干（均支持根据yolov11训练的版本进行二次缩放，全系列都能轻量化）、检测头、注意力机制、Neck多种结构上创新，也有损失函数和一些细节点上的创新。
【YOLOv10改进[注意力]】添加注意力CascadedGroupAttention(2023) + 含全部代码和详细修改方式 + 手撕结构图 + 全网首发
静谧、淡雅
06-19 475
添加注意力CascadedGroupAttention(2023) + 含全部代码和详细修改方式 + 手撕结构图 + 全网首发
【CVPR 2023】EfficientViT: Memory Efficient Vision Transformer with Cascaded Group Attention
m0_61899108的博客
10-03 7283
Vision Transformer由于其高度的建模能力而取得了巨大的成功。然而，它们的卓越性能伴随着沉重的计算代价，不适合于实时应用。本文提出了一个高速ViT，即EfficientViT。论文发现，现有的Transformer模型的速度通常受到访存效率低的操作的限制，尤其是在MHSA中的张量重塑和逐元素函数。因此，论文设计了一种新的三明治布局的构建块，即在有效的FFN层之间使用单个内存受限的MHSA，在增强通道通信的同时提高了访存效率。此外，注意力图在头部之间有很高的相似性，导致计算冗余。
【RT-DETR有效改进】利用EMAttention加深网络深度提高模型特征提取能力（特征选择模块）
Snu77的博客
02-17 2327
本文给大家带来的改进机制是EMAttention注意力机制，它的核心思想是，重塑部分通道到批次维度，并将通道维度分组为多个子特征，以保留每个通道的信息并减少计算开销。EMA模块通过编码全局信息来重新校准每个并行分支中的通道权重，并通过跨维度交互来捕获像素级别的关系。本文改进是基于ResNet18、ResNet34、ResNet50、ResNet101，文章中均以提供，本专栏的改进内容全网独一份深度改进RT-DETR非那种无效Neck部分改进，
YOLOv11改进 | 添加注意力机制篇 | 混合局部通道注意力MLCA二次创新C2PSA机制助力YOLOv11有效涨点
Snu77的博客
10-13 3259
本文带来的改进机制是翻译来就是混合局部通道注意力，它结合了局部和全局特征以及通道和空间特征的信息，根据文章的内容来看他是一个轻量化的注意力机制，能够在增加少量参数量的情况下从而大幅度的提高检测精度(论文中是如此描述的)，根据我的实验内容来看，该注意力机制确实参数量非常少，效果也算不错，而且官方的代码中提供了二次创新的思想和视频讲解非常推荐大家观看。YOLOv11改进系列专栏——本专栏持续复习各种顶会内容——科研必备目录一、本文介绍二、MLCA的基本框架原理三、MLCA的核心代码四、手把手教你添加MLCA。
内容引导注意力CGA详解及代码复现
hasakie的博客
01-24 815
例如，在图像分类任务中，可能会选择较小的注意力头数量和较浅的网络深度，而在语义分割任务中，可能需要更多的注意力头和更深的网络结构。例如，在图像分类任务中，模型可能会将更多注意力集中在包含目标物体的区域，而在语义分割任务中，它可能会重点关注不同物体的边界区域。在CGA架构中，空间注意力机制是一个关键组成部分，它通过动态调整输入特征图的空间权重，使模型能够聚焦于图像中的重要区域。这种创新的注意力机制通过独特的设计，有效解决了传统Transformer中多头注意力的计算冗余问题，同时提高了模型的容量和性能。
YOLOv11改进 | 添加注意力机制篇 | 2024最新适用于遥感目标检测的注意力机制CAA二次创新C2PSA机制（全网独家首发）
Snu77的博客
11-09 3057
本文给大家带来的2024最新改进机制是PKINet网络提出的CAA注意力机制， 其首先通过平均池化和一个 1x1 卷积获取局部区域的特征。接着应用两个深度分离的条状卷积，一个是水平方向，另一个是垂直方向。这种条状卷积可以模拟大核卷积，但计算成本低，轻量化。这种配置在捕捉桥梁等拉长的物体结构上特别有效。本文将其用于二次创新PSA和另外一种使用方式，本文内容为个人整理，文章内含有代码 + 添加教程 + 使用方式。欢迎大家订阅我的专栏一起学习YOLO！
【YOLOv10改进[注意力]】使用注意力CascadedGroupAttention(2023)改进C2f + 含全部代码和详细修改方式 + 手撕结构图 + 全网首发
静谧、淡雅
06-19 296
使用注意力CascadedGroupAttention(2023)改进C2f + 含全部代码和详细修改方式 + 手撕结构图 + 全网首发
YOLOv8独家原创改进： 特征融合创新 | 一种基于内容引导注意力(CGA)的混合融合，实现暴力涨点 | IEEE TIP 2024 浙大
05-11 2417
一种基于内容引导注意力(CGA)的混合融合，实现暴力涨点
内容引导注意力特征融合CGAfusion
qq_45371200的博客
03-23 4135
计算机视觉即插即用模块。0.5一个。进行模块缝合，水论文，原文用于图像去雾。自己也可以用于分割等。
EfficientViT: Memory Efficient Vision Transformer withCascaded Group Attention论文阅读
andeyeluguo的博客
01-17 1474
高效的记忆视觉变压器与级联的群体注意 摘要。 视觉变压器由于其高模型能力而取得了巨大的成功。然而，它们卓越的性能伴随着沉重的计算成本，这使得它们不适合实时应用。在这篇论文中，我们提出了一个高速视觉变压器家族，名为EfficientViT。我们发现现有的变压器模型的速度通常受到内存低效操作的限制，特别是在MHSA中的张量重塑和单元函数。因此，我们设计了一种具有三明治布局的新构建块，即在高效FFN层之间使用单个内存绑定的MHSA，从而提高了内存效率，同时增强了信道通信。此外，我们发现注意图在头部之间具有很高
级联群体注意力机制CGAttention
04-02
级联群体注意力机制（Cascading Group Attention）是一种注意力机制，它通过对输入序列进行逐级处理来捕捉不同层次的语义结构。该机制主要由两个关键部分组成：群体注意力和级联过程。 1. 群体注意力：群体注意力模块用于计算每个输入特征对全局上下文的加权表示。它使用多头自注意力机制，允许元素之间进行交互，并计算它们之间的相似性。每个输入特征与其上下文相互作用，生成一个与全局上下文相关的表示。 2. 级联过程：级联过程将多个群体注意力模块进行串联，形成多级注意力网络。在每一级中，输入序列通过相应的群体注意力模块进行处理，得到一系列表示。这些表示被进一步组合，形成最终的输出表示。 在具体实现上，级联群体注意力机制通过构建一个层次结构，将注意力模块串联起来，每一级都对输入序列进行不同的关注点计算，并逐步生成更具体的表示。这种机制可以捕捉到序列中不同层次和位置的语义信息，从而提高了模型的语义理解和生成能力。 总的来说，级联群体注意力机制通过逐级处理输入序列，捕捉不同层次的语义结构，并在每一级中应用群体注意力模块来计算每个输入特征对全局上下文的加权表示。这种机制有助于提高模型的语义理解和生成能力，适用于各种需要处理序列数据的任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Snu77

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值