YOLOv5改进 | 注意力篇 | ACmix注意力与卷积混合的模型（轻量化注意力机制）

已于 2024-01-08 00:30:26 修改
阅读量1.9k 收藏 28
点赞数 26
CC 4.0 BY-SA版权
分类专栏： YOLOv5改进有效专栏 文章标签： 深度学习 计算机视觉 YOLO python pytorch 人工智能 目标检测
于 2024-01-08 00:16:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/java1314777/article/details/135442793
本文介绍了ACmix，一种结合自注意力和卷积运算的模型，通过1x1卷积降低计算成本，提高目标检测模型YOLOv5的性能。ACmix通过特征分解、运算共享和融合，实现自注意力和卷积的优势结合，详细解析了ACmix的框架原理，包括自注意力和卷积的整合以及运算分解与重构。此外，还提供了添加ACmix到YOLOv5的步骤和不同配置的yaml文件。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、本文介绍

本文给大家带来的改进机制是ACmix自注意力机制的改进版本，它的核心思想是，传统卷积操作和自注意力模块的大部分计算都可以通过1x1的卷积来实现。ACmix首先使用1x1卷积对输入特征图进行投影，生成一组中间特征，然后根据不同的范式，即自注意力和卷积方式，分别重用和聚合这些中间特征。这样，ACmix既能利用自注意力的全局感知能力，又能通过卷积捕获局部特征，从而在保持较低计算成本的同时，提高模型的性能。同时在开始讲解之前推荐一下我的专栏，本专栏的内容支持(分类、检测、分割、追踪、关键点检测),专栏目前为限时折扣，欢迎大家订阅本专栏，本专栏每周更新3-5篇最新机制，更有包含我所有改进的文件和交流群提供给大家。

推荐指数：⭐⭐⭐⭐

涨点效果：⭐⭐⭐⭐

专栏目录：YOLOv5改进有效涨点目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制

专栏回顾：YOLOv5改进专栏——持续复现各种顶会内容——内含100+创新

目录

一、本文介绍

二、ACmix的框架原理

2.1 ACMix的基本原理 

2.1.1 自注意力和卷积的整合

2.1.2 运算分解与重构

三、ACmix的核心代码 

四、手把手教你添加ACmix

4.1 ACmix添加步骤

4.1.1 修改一

4.1.2 修改二

了解本专栏 订阅专栏 解锁全文
【YOLOv11改进-卷积Conv】ACmix(Mixed Self-Attention and Convolution) ：自注意力与卷积混合模型
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
10-17 4832
【YOLOv11改进】ACmix(Mixed Self-Attention and Convolution) ：自注意力与卷积混合模型
YOLOv10涨点改进：自研检测头 | 独家创新（Partial_C_v10Detect）检测头结构创新，实现涨点
06-13 1971
独家创新（Partial_C_v10Detect）检测头结构创新，实现涨点
ACmix
qq_42129459的博客
04-17 1972
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 ACmix摘要一、KeyPoint二、设计方法1.Convolution2.读入数据总结 摘要 本文中，作者对卷积和self-attention进行对比研究，并证明了他们之间存在着很强的潜在关系，并且在某种意义上它们这两种操作实际上是在做相同的操作。
5月9日复盘-混合注意力机制
最新发布
m0_73645257的博客
05-09 1277
混合注意力机制
【模块】ACmix
2301_77549977的博客
02-23 497
产生一组丰富的中间特征。这种设计使ACmix既能享受到自注意力模块的灵活性，也能利用卷积的局部感受野特性。通过有效结合卷积和自注意力的优点，ACmix在多个视觉任务上显示出优于单一机制（仅卷积或仅自注意力）的性能，展示了其广泛的应用潜力。这种策略通过在单个框架中同时利用这两种机制的优势，来提升模型对特征的处理能力。ACmix通过优化计算路径和减少重复计算，提高了整体模块的计算效率，使其在不显著增加计算负担的前提下提升模型性能。优势的混合模块，旨在通过融合两种机制的优点来增强模型的表示能力和性能。
混合注意力 ACmix | On the Integration of Self-Attention and Convolution
YOLOv8项目贡献者
04-28 1470
CVPR2022 ACmix 注意力模块
YOLOv8改进 | 注意力机制 | 添加ACmix自注意力与卷积混合模型改善模型特征识别效率（提高FPS+检测效率）
Snu77的博客
12-28 8724
本文给大家带来的改进机制是ACmix自注意力机制的改进版本，它的核心思想是，传统卷积操作和自注意力模块的大部分计算都可以通过1x1的卷积来实现。ACmix首先使用1x1卷积对输入特征图进行投影，生成一组中间特征，然后根据不同的范式，即自注意力和卷积方式，分别重用和聚合这些中间特征。这样，ACmix既能利用自注意力的全局感知能力，又能通过卷积捕获局部特征，从而在保持较低计算成本的同时，提高模型的性能。
YOLOv8改进有效系列目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制
热门推荐
Snu77的博客
12-30 15万+
Hello，各位读者们好，本专栏自开设两个月以来已经更新改进教程120+余篇其中包含C2f、主干、检测头、注意力机制、Neck多种结构上创新，也有损失函数和一些细节点上的创新，订阅本专栏以后你不仅可以收获跟专栏的阅读权限，同时可以进Qq群，里面包含集成我所有创新的YOLO最新目录，和我本人录制的视频讲解教程，如果你想要在YOLOv8系列收获一篇论文，我相信订阅本专栏后你一定会有所收获~YOLOv8改进有效系列目录。
YOLOv11改进 | 添加注意力机制篇 | 添加ACmix自注意力与卷积混合模型改善模型特征识别效率（包含二次创新C2PSA机制）
Snu77的博客
10-23 2421
本文给大家带来的改进机制是ACmix自注意力机制的改进版本，它的核心思想是，传统卷积操作和自注意力模块的大部分计算都可以通过1x1的卷积来实现。ACmix首先使用1x1卷积对输入特征图进行投影，生成一组中间特征，然后根据不同的范式，即自注意力和卷积方式，分别重用和聚合这些中间特征。这样，ACmix既能利用自注意力的全局感知能力，又能通过卷积捕获局部特征，从而在保持较低计算成本的同时，提高模型的性能。本文包含二次创新PSA机制！YOLOv11改进系列专栏——本专栏持续复习各种顶会内容——科研必备目录。
YOLOv10改进 | 注意力机制 | 添加ACmix自注意力与卷积混合模型改善模型特征识别效率（包含二次创新PSA机制）
Snu77的博客
07-11 680
本文给大家带来的改进机制是ACmix自注意力机制的改进版本，它的核心思想是，传统卷积操作和自注意力模块的大部分计算都可以通过1x1的卷积来实现。ACmix首先使用1x1卷积对输入特征图进行投影，生成一组中间特征，然后根据不同的范式，即自注意力和卷积方式，分别重用和聚合这些中间特征。这样，ACmix既能利用自注意力的全局感知能力，又能通过卷积捕获局部特征，从而在保持较低计算成本的同时，提高模型的性能。本文包含二次创新PSA机制！YOLOv10改进系列专栏——本专栏持续复习各种顶会内容——科研必备目录。
CVPR2023 即插即用系列 | 一种高效轻量的自注意力机制助力图像恢复网络问鼎SOTA！
专注计算机视觉全栈知识分享
03-19 5797
如果您也对人工智能和计算机视觉全栈领域感兴趣，强烈推荐您关注有料、有趣、有爱的公众号『CVHub』，每日为大家带来精品原创、多领域、有深度的前沿科技论文解读及工业成熟解决方案！同时欢迎添加小编微信: cv_huber，备注优快云，加入官方学术|技术|招聘交流群，一起探讨更多有趣的话题！
轻量自高斯注意力（LSGA）机制—论文总结和代码实现
qq_45981086的博客
09-30 4024
想改进高斯注意力？这篇论文给出答案！ ——轻自高斯注意力（LSGA）机制
ACMix：清华提出融合卷积与自注意力机制的模块
kindel的博客
05-16 3602
ACMix：清华提出融合卷积与注意力机制的模块，On the Integration of Self-Attention and Convolution
ACmix 论文精读，并解析其模型结构
Flying Bulldog 的博客
07-31 5717
卷积和自注意力是两种强大的表示学习技术，通常被认为是两种不同的对等方法。在本文中，我们证明了它们之间存在着很强的内在联系，即这两种范式的计算量实际上是以相同的运算完成的。具体来说，我们首先证明了一个传统的卷积核大小为k×k，可以分解为k2个单独的1×1卷积，然后进行移位和求和操作。然后，我们将查询、键和值在自注意力模块中的投影解释为多个1×1卷积，然后计算注意力权重和值的聚合。因此，两个模块的第一阶段都包含类似的操作。models。...
探索融合之路：ACmix - 自注意力与卷积的完美结合
gitblog_00080的博客
05-08 821
探索融合之路：ACmix - 自注意力与卷积的完美结合 去发现同类优质开源项目:https://gitcode.com/ 在这个深度学习的时代，模型的效率和性能是关键。ACmix 是一个创新的开源项目，它提出了一种新的融合自注意力（Self-Attention）和卷积的方法，旨在提升计算机视觉模型的效能。该代码库提供了在 PyTorch 框架下实现的预训练模型，用于ImageNet数据集上的图像分...
Vision Attention之ACmix：On the Integration of Self-Attention and Convolution
画心
12-05 1842
On the Integration of Self-Attention and Convolution 本文原始文档：https://www.yuque.com/lart/papers/nlu51g 整体概览可见链接里的公众号文章，本文主要针对模型设计的细节进行解释。 从摘要读文章 Convolution and self-attention are two powerful techniques for representation learning, and they are usually con
Self-Attention和CNN的优雅集成，清华大学等提出ACmix，性能速度全面提升
机器学习社区
12-03 3195
清华大学等提出了一个混合模型ACmix：它既兼顾Self-Attention和Convolution的优点，同时与Convolution或Self-Attention对应的模型相比，具有更小的计算开销。实验表明，本文方法在图像识别和下游任务上取得了持续改进的结果。 >>加入极市CV技术交流群，走在计算机视觉的最前沿论文链接：https://arxiv.org/pdf/2111.14
Transformer系列 | ViT-LSLA：轻量自限制注意力，超越SWin！
CV_Autobot的博客
11-21 1877
点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【全栈算法】技术交流群后台回复【transformer综述】获取2022最新ViT综述论文！Transformer在广泛的视觉任务中表现出了竞争性的表现，而全局自注意力的计算成本非常高。许多方法将注意力范围限制在局部窗口内，以降低计算复杂性。然而，他们的方法无法节省参数的数量；同时，自注意力和内部位置偏差（在s...
注意力机制 改进YOLOV11
02-19
### 使用注意力机制优化 YOLOv11 目标检测模型的方法 #### SimAM 模块简介 SimAM是一种简单且无参数的注意力模块，适用于卷积神经网络。此模块基于神经科学理论定义的能量函数来计算三维注意力建立权重，能够有效地提升网络表示能力，并具备轻量化和高效的特性[^1]。 ```python import torch.nn as nn class SimAM(nn.Module): def __init__(self, lambda_param=0.75): super(SimAM, self).__init__() self.lambda_param = lambda_param def forward(self, x): b, c, h, w = x.size() n = w * h - 1 # 计算能量分布 x_minus_mu_square = (x - x.mean(dim=[2,3], keepdim=True)).pow(2) val = x_minus_mu_square / ((n/(n-1))*(x_minus_mu_square.sum(dim=[2,3], keepdim=True))) # 应用激活函数得到最终输出 return x * (val + self.lambda_param + 1).clamp(min=0).sqrt() ``` #### 将SimAM融入YOLOv11架构 为了使YOLOv11受益于SimAM的优势，在设计阶段可以考虑将SimAM放置在网络的不同层次上，特别是在骨干网之后或颈部之前的位置。这有助于加强特征提取过程中的空间信息处理，进而改善对于小型目标及部分遮挡对象的识别效果。 #### ACmix 自注意力与卷积混合模型的应用 另一种方法涉及采用ACmix自注意力机制及其变体C2PSA。这种方法允许同时利用自注意力带来的全局感受野优势以及标准卷积捕捉局部模式的能力。具体来说，可以通过一系列1×1卷积层先映射输入特征图至中间状态；接着依据特定策略组合这些特征以形成新的表达形式[^3]。 ```python from functools import partial import torch from timm.models.layers import DropPath, trunc_normal_ def acmix(x, lamda=0.1): B_, C_, H_, W_ = x.shape qkv = x.reshape(B_, C_, -1) # 实现细节省略... out = ... # 经过处理后的张量 return out class ACMixBlock(nn.Module): def __init__(self, dim, num_heads=8, mlp_ratio=4., drop_path=0., act_layer=nn.GELU, norm_layer=partial(nn.LayerNorm, eps=1e-6)): super().__init__() self.norm1 = norm_layer(dim) self.attn = acmix(...) ... ``` 通过上述两种途径之一或者两者结合的方式引入适当类型的注意力机制，可望显著提高YOLOv11在各种条件下的表现水平，特别是针对那些难以被发现的小型物体或是处于复杂环境里的实例。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Snu77

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值