YOLOv10改进 | 添加注意力篇 | 结合Mamba注意力机制MLLA助力YOLOv10有效涨点含二次创新PSA（全网独家首发）

已于 2024-07-15 11:20:17 修改
阅读量1.6k 收藏 13
点赞数 6
CC 4.0 BY-SA版权
分类专栏： YOLOv10有效涨点专栏 文章标签： YOLO 深度学习 人工智能 计算机视觉 python pytorch YOLOv10
于 2024-07-15 06:02:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/java1314777/article/details/140391430

 一、本文介绍

本文给大家带来的改进机制是结合号称超越Transformer架构的Mamba架构的最新注意力机制MLLA，本文将其和我们YOLOv10进行结合，MLLA（Mamba-Like Linear Attention）的原理是通过将Mamba模型的一些核心设计融入线性注意力机制，从而提升模型的性能。具体来说，MLLA主要整合了Mamba中的“忘记门”（forget gate）和模块设计（block design）这两个关键因素，同时MLLA通过使用位置编码（RoPE）来替代忘记门，从而在保持并行计算和快速推理速度的同时，提供必要的位置信息。这使得MLLA在处理非自回归的视觉任务时更加有效 ，本文内容为我独家整理全网首发。

  专栏回顾：YOLOv10改进系列专栏——本专栏持续复习各种顶会内容——科研必备 

目录

 一、本文介绍

二、原理介绍

三、核心代码

四、手把手教你添加MLLA

4.1 修改一

4.2 修改二 

4.3 修改三 

4.4 修改四 

4.5 修改五 

五、MLLA的yaml文件和运行记录

5.1 MLLA的yaml文件1

5.2 MLLA的yaml文件2

5.3 MLLA的yaml文件3

5.4 训练代码 

了解本专栏 订阅专栏 解锁全文
YOLOv11改进有效涨点专栏目录 | 含卷积、主干、注意力机制、Neck、检测头、损失函数、二次创新C2PSA/C3k2等各种网络结构改进
Snu77的博客
11-05 5万+
Hello，各位读者们好.本文为最新YOLOv11有效涨点专栏目录，YOLOv11以及发布了一个月左右，这个过程中我也是给大家整理了许多的机制，其中包含了C3k2、主干（均支持根据yolov11训练的版本进行二次缩放，全系列都能轻量化）、检测头、注意力机制、Neck多种结构上创新，也有损失函数和一些细节点上的创新。
YOLOv10改进 | Conv篇 | YOLOv10添加Mamba模块 （Mamba-Yolov10为目标检测、医学图像分割等任务带来新的发展和进步）
qq_45972324的博客
05-02 6466
在医学图像分割领域，基于 CNN 和基于 Transformer 的模型都得到了广泛的探索。然而，CNN 在远程建模能力方面表现出局限性，而 Transformer 则受到其二次计算复杂性的阻碍。最近，以 Manba 为代表的状态空间模型 （SSM） 已成为一种很有前途的方法。它们不仅擅长对长距离交互进行建模，而且还保持线性计算复杂性。在本文中，利用状态空间模型，我们提出了一种用于医学图像分割的 U 形架构模型，名为 Vision Mamba UNet （VM-UNet）。
YOLO-Mamba大火！15种创新思路全面汇总！
最新发布
Aimoxin111的博客
03-31 427
Mamba Block Attention Module (MBAM)：提出了基于Mamba的注意力模块，包括Mamba空间注意力模块（MSAM）和Mamba通道注意力模块（MCAM），分别从空间和通道维度计算图像的注意力。然而，随着研究的深入，研究人员不断探索如何进一步提升其性能，包括更高的检测精度、更快的推理速度以及更好的适应性。MambaFusion-PAN：提出了一种基于SSM的特征融合机制，包括并行引导选择性扫描（PGSS）算法和串行引导选择性扫描（SGSS）算法，用于视觉和语言特征的融合。
YOLOv8改进 | 添加注意力篇 | 结合Mamba注意力机制MLLA助力YOLOv8有效涨点（全网独家首发）
Snu77的博客
06-27 6421
本文给大家带来的改进机制是结合号称超越Transformer架构的Mamba架构的最新注意力机制MLLA，本文将其和我们YOLOv8进行结合，的原理是通过将Mamba模型的一些核心设计融入线性注意力机制，从而提升模型的性能。具体来说，MLLA主要整合了Mamba中的“忘记门”（forget gate）和模块设计（block design）这两个关键因素，同时MLLA通过使用位置编码（RoPE）来替代忘记门，从而在保持并行计算和快速推理速度的同时，提供必要的位置信息。
YOLOv10改进 | 注意力改进篇 | YOLOv10引入MLLA曼巴式线性注意力（助力于图像分类、高分辨率任务）
qq_45972324的博客
09-11 576
摘要：Mamba 是一种具有线性计算复杂性的有效状态空间模型。它最近在处理各种视觉任务中的高分辨率输入方面表现出令人印象深刻的效率。在本文中，我们揭示了强大的 Mamba 模型与线性注意力 Transformer 有着惊人的相似之处，后者在实践中通常表现不佳于传统的 Transformer。通过探索有效的 Mamba 和低于标准的线性注意力 Transformer 之间的相似之处和差异，我们提供了全面的分析，以揭开 Mamba 成功背后的关键因素的神秘面纱。
YOLOv10改进 | 注意力篇 | YOLOv10引入24年最新Mamba注意力机制MLLAttention
tsg6698的博客
07-02 2160
最近，它在处理各种视觉任务的高分辨率输入方面表现出了令人印象深刻的效率。基于这些发现，我们提出了MLLA模型，通过将这两个关键设计的优良特性整合到线性注意力中，得到了一个在图像分类和高分辨率密集预测任务中都优于各种视觉Mamba模型的模型，同时享受并行化计算和快速推理速度的优点。到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv10改进有效涨点专栏，后期我会根据各种最新的前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~
【论文略读】（MLLA）清华大学--Demystify Mamba in Vision: A Linear AttentionPerspective
weixin_45927386的博客
06-19 5925
引入Baseline Mamba，指明Mamba在处理各种高分辨率图像的视觉任务有着很好的效率。文章发现了强大的Mamba和线性注意力Transformer（ linear attention Transformer）非常相似，然后就分析了两者之间的异同。
YOLOv11改进 | 添加注意力篇 | 结合2024最新Mamba注意力机制MLLA助力yolov11有效涨点含二次创新C2PSA（全网独家首发改进）
Snu77的博客
11-04 2652
本文给大家带来的改进机制是结合号称超越Transformer架构的Mamba架构的最新注意力机制MLLA，本文将其和我们YOLOv11进行结合，的原理是通过将Mamba模型的一些核心设计融入线性注意力机制，从而提升模型的性能。具体来说，MLLA主要整合了Mamba中的“忘记门”（forget gate）和模块设计（block design）这两个关键因素，同时MLLA通过使用位置编码（RoPE）来替代忘记门，从而在保持并行计算和快速推理速度的同时，提供必要的位置信息。
YOLOv8改进有效系列目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制
热门推荐
Snu77的博客
12-30 15万+
Hello，各位读者们好，本专栏自开设两个月以来已经更新改进教程120+余篇其中包含C2f、主干、检测头、注意力机制、Neck多种结构上创新，也有损失函数和一些细节点上的创新，订阅本专栏以后你不仅可以收获跟专栏的阅读权限，同时可以进Qq群，里面包含集成我所有创新的YOLO最新目录，和我本人录制的视频讲解教程，如果你想要在YOLOv8系列收获一篇论文，我相信订阅本专栏后你一定会有所收获~YOLOv8改进有效系列目录。
YOLOv10有效涨点专栏目录 | 包含卷积、主干、检测头、注意力机制、Neck、二次创新、独家创新等上百种创新机制
Snu77的博客
07-15 1万+
Hello，各位读者们好本专栏自开设以来已经更新改进教程100余篇其中包含二次创新、独家创新多种改进方法，包含C2f、主干、检测头、注意力机制、Neck多种结构，也有损失函数和一些细节点上的创新。同时本人一些讲解视频和包含我所有创新的YOLOv10文档并不能在优快云上传，通过建立交流群的形式在内上传我完整的文件和视频我也会在群内不定期和大家交流回答大家问题。专栏介绍。
【YOLOv10改进 -注意力机制】Mamba之MLLAttention ：基于Mamba和线性注意力Transformer的模型
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-07 1407
Mamba是一种具有线性计算复杂度的有效状态空间模型。它最近在处理各种视觉任务的高分辨率输入方面表现出了令人印象深刻的效率。在本文中，我们揭示了强大的Mamba模型与线性注意力Transformer共享令人惊讶的相似性，而线性注意力Transformer在实践中通常不如传统Transformer。通过探索高效的Mamba和表现欠佳的线性注意力Transformer之间的相似性和差异，我们提供了全面的分析，揭示了Mamba成功背后的关键因素。具体来说，我们在统一的公式下重新定义了选择性状态空间模型和线性注意力
YOLOv10改进策略【YOLO和Mamba】| 替换骨干 Mamba-YOLOv10-T !!! 最新的发文热点
Limiiiing的博客
11-25 450
模块是模型中的一个重要组成部分，其主要作用是在模型的初始阶段对输入图像进行处理，方便后续的特征提取和目标检测。以下是对。
爆改YOLOv8 |YOLOv8融合Mamba注意力机制MLLA
weixin_43986124的博客
08-18 3095
Mamba, MLLA注意力，yolov8改进，发刊必备
YOLOv10改进策略【YOLO和Mamba】| 2024 VM-UNet，高效的特征提取模块VSS block 二次创新提高精度
Limiiiing的博客
12-06 238
VM-UNet模型设计的出发点是解决现有CNN-based和模型在医学图像分割中的局限性，利用（SSMs）的优势，提出一种更有效的医学图像分割模型。具体来说，CNN-based模型在捕捉长距离信息方面存在不足，而模型由于自注意力机制的二次复杂度导致计算负担较重。SSMs模型如Mamba不仅在建模长距离依赖方面表现出色，还具有线性计算复杂度，这为VM-UNet的设计提供了理论基础。
YoloV8改进策略：Block改进|Mamba-UNet改进YoloV8，打造全新的Yolo-Mamba网络
m0_47867638的博客
02-16 4035
本文尝试使用Mamba的VSSBlock替换YoloV8的Bottleneck，打造最新的Yolo-Mamba网络。在医学图像分析的最新进展中，卷积神经网络（CNN）和视觉转换器（ViT）都取得了显著的基准成绩。前者通过其卷积操作在捕获局部特征方面表现出色，而后者则通过利用自注意力机制实现了出色的全局上下文理解。然而，这两种架构在有效建模医学图像中的长距离依赖关系时都存在局限，这对于精确分割至关重要。受到Mamba架构的启发，该架构因其处理长序列和全局上下文信息的能力以及作为国家空间模型（SSM）的增强计算
YOLOV8 中使用Vmamba。
qq_43190806的博客
04-19 4403
yolov8中使用SS2D，vmamba
Mamba-YOLO：Mamba 主干网络适合处理更复杂的数据和场景 + Apache-2.0 开源可商用
Debroon
06-20 8597
在Mamba YOLO的架构中，核心组件如SS2D结构、ODSSBlock、Local Spatial Block (LS Block)、和Residual Gated Block (RG Block)与高级组成部分如ODMamba Backbone、Simple Stem、ODSSBlocks、Vision Clue Merge、PAFPN和Head之间存在直接的层级和功能关系。通常，Head会设置不同尺度的检测层，以处理从小到大的各种对象，确保模型可以广泛地适应不同的目标尺寸和场景。
YoloV8改进策略：Block改进|轻量级的Mamba打造优秀的YoloV8|即插即用，简单易懂|附Block结构图|检测、分割、关键点均适用（独家原创）
m0_47867638的博客
04-11 3541
UNet [16]，作为医学图像分割领域一个广为人知的算法，在涉及医学器官和病灶的各种分割任务中得到了广泛应用，涵盖了多种医学图像模态。其对称的U形编解码器架构与整体的跳跃连接为分割模型奠定了基础，催生了一系列基于U形结构的研究工作 [8,15,18]。然而，作为基于卷积神经网络（CNN）的模型，UNet受限于卷积操作的固有局部性，这限制了其理解显式全局和长距离语义信息交互的能力 [2]。一些研究尝试通过采用空洞卷积层 [5]、自注意力机制 [19] 和图像金字塔 [25] 来缓解这一问题。
YOLOv10改进策略【YOLO和Mamba】| 替换骨干 Mamba-YOLOv10-L !!! 最新的发文热点
Limiiiing的博客
11-25 529
Vision Clue Merge模块在Mamba - YOLO模型中同样重要，主要负责在模型的下采样过程中处理特征图，为后续的特征融合和目标检测任务提供更有效的信息。
YOLOv8Pose注意力机制
01-07
### YOLOv8Pose中的注意力机制实现与应用 #### 注意力机制的重要性 在YOLOv8系列模型中，引入特定类型的注意力机制能够显著提升模型性能。对于人体姿态估计任务而言，即YOLOv8Pose版本，采用有效的注意力模块有助于增强网络对关键部位的关注度，从而提高检测精度和鲁棒性[^1]。 #### MLLA注意力机制的应用 具体到YOLOv8Pose上，结合了来自Mamba项目的多层局部线性聚合（Multi-Layer Local Aggregation, MLLA）注意力机制来加强特征表达能力。这种设计通过多层次的信息融合，在不同尺度下捕捉更丰富的上下文关系，使得模型能更好地理解图像内的复杂结构并准确定位人体关节位置。 ```python import torch.nn as nn class MLALayer(nn.Module): def __init__(self, channels_in, reduction=16): super().__init__() self.avg_pool = nn.AdaptiveAvgPool2d(1) self.fc = nn.Sequential( nn.Linear(channels_in, channels_in // reduction), nn.ReLU(inplace=True), nn.Linear(channels_in // reduction, channels_in), nn.Sigmoid() ) def forward(self, x): b, c, _, _ = x.size() y = self.avg_pool(x).view(b, c) y = self.fc(y).view(b, c, 1, 1) return x * y.expand_as(x) # 将MLLA应用于骨干网络部分 backbone.add_module('mlla_attention', MLALayer(num_channels)) ``` 此代码片段展示了如何定义一个多层局部线性聚集(MLLA)层，并将其集成到YOLOv8Pose的主干架构之中。该方法通过对输入特征图施加通道级权重调整，实现了自适应地突出重要区域的效果。 #### GEM注意力机制的作用 除了上述提到的技术外，还有研究指出利用广义期望最大化(GEneralized Expectation Maximization, GEM)算法构建的注意力组件同样适用于改善YOLOv8的姿态预测效果。这类方案能够在保持原有框架简洁性的基础上进一步挖掘数据潜在价值，进而促进整体表现指标的增长[^2]。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Snu77

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值