YOLOv10改进 | Conv篇 | YOLOv10添加Mamba模块 （Mamba-Yolov10为目标检测、医学图像分割等任务带来新的发展和进步）

已于 2024-09-17 21:45:44 修改
阅读量6.4k 收藏 55
点赞数 33
分类专栏： YOLOv8v10 创新改进+前往b站关注AI缝合怪订阅 YOLOv8 创新改进+前往b站关注:AI缝合怪订阅 文章标签： YOLO 目标检测 人工智能 计算机视觉 yolov8 yolov10 mamba
于 2024-05-02 14:34:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_45972324/article/details/138391815
版权

YOLOv8v10专栏限时99元订阅链接：限时99元去b站关注：AI缝合怪订阅YOLOv8v10 创新改进高效涨点+持续改进300多篇

（订阅的小伙伴，终身免费享有后续YOLOv11或是其他版本的改进专栏）

目录

一、Mamba模块介绍

VSS mamba模块结构

mamba模块动机

CNN 主要局限性：

Transformer 主要局限性：

 二、VSS模块核心代码

三、手把手教你添加 VSSBlock模块和修改task.py文件

四、创建涨点yaml配置文件

参考版本: yolov10n_VSSBlock.yaml 

五、本文总结

一、Mamba模块介绍

了解本专栏 订阅专栏 解锁全文
【YOLOv8改进- Backbone主干】CVPR2025 MambaOut ：为图像分类任务设计的轻量级模型,曼巴永存！
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
04-16 390
【YOLOv8改进- Backbone主干】CVPR2025 MambaOut ：为图像分类任务设计的轻量级模型,曼巴永存！
YoloV8改进策略：Block改进|轻量级的Mamba打造优秀的YoloV8|即插即用，简单易懂|附Block结构图|检测、分割、关键点均适用（独家原创）
m0_47867638的博客
04-11 3535
UNet [16]，作为医学图像分割领域一个广为人知的算法，在涉及医学器官和病灶的各种分割任务中得到了广泛应用，涵盖了多种医学图像模态。其对称的U形编解码器架构与整体的跳跃连接为分割模型奠定了基础，催生了一系列基于U形结构的研究工作 [8,15,18]。然而，作为基于卷积神经网络（CNN）的模型，UNet受限于卷积操作的固有局部性，这限制了其理解显式全局和长距离语义信息交互的能力 [2]。一些研究尝试通过采用空洞卷积层 [5]、自注意力机制 [19] 和图像金字塔 [25] 来缓解这一问题。
论文阅读笔记：VMamba: Visual State Space Model
HollowKnightz的博客
01-27 2101
论文阅读笔记：VMamba: Visual State Space Model
Mamba再封神！与YOLO结合，拿下二区！好发不卷！
2401_88190197的博客
11-06 1826
相比传统的YOLO改进，Mamba是新技术，两者结合尚在蓝海阶段，可发挥空间大！更为关键的是，它在检测精度和速度方面，都让以往的YOLO模型难以望其项背！比如代表模型Mamba YOLO，便在参数减少45.5％、FLOPs减少50％的同时，精度还比YOLOv8高6.1%！这主要得益于，Mamba能够捕捉长期依赖关系，而YOLO则擅长捕捉局部特征，两者能够优势互补，且Mamba线性复杂度的特性，也有利于提高计算效率！为了让大家能够紧跟前沿发展，找到更多灵感启发，我给大家10种。
Mamba也对yolo出手了，模型详解！（附源码地址）
weixin_40920183的博客
07-09 2229
Mamba YOLO 是一种基于SSM结构的目标检测模型，它是对YOLO系列模型的一次创新尝试，旨在通过引入新的模块和结构来优化目标检测的性能。该模型特别关注全局感受野，并在处理复杂视觉任务时展示了其潜力。论文题目：Mamba YOLO: SSMs-Based YOLO For Object Detection论文链接：https://arxiv.org/abs/2406.05835github地...
YOLOv10改进 | 注意力篇 | YOLOv10引入24年最新Mamba注意力机制MLLAttention
tsg6698的博客
07-02 2157
最近，它在处理各种视觉任务的高分辨率输入方面表现出了令人印象深刻的效率。基于这些发现，我们提出了MLLA模型，通过将这两个关键设计的优良特性整合到线性注意力中，得到了一个在图像分类和高分辨率密集预测任务中都优于各种视觉Mamba模型的模型，同时享受并行化计算和快速推理速度的优点。到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv10改进有效涨点专栏，后期我会根据各种最新的前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~
mamba复现—mamba+yolov8魔改（win）
锁我喉是吧
05-11 6858
将Mamba结合到Yolov8架构中的方法，旨在展示其在目标检测任务中的潜力。通过结合Mamba的优势，Yolov8_MambaCBAM旨在改善长距离信息捕获和全局建模能力，以提高目标检测任务的性能...
硬刚恶劣天气！Mamba 引领目标检测新风向
CV_Autobot的博客
05-03 2499
作者|小书童 编辑| 集智书童点击下方卡片，关注“自动驾驶之心”公众号戳我-> 领取自动驾驶近15个方向学习路线>>点击进入→自动驾驶之心『目标检测』技术交流群本文只做学术分享，如有侵权，联系删文跨模态图像融合了可见光-红外光谱线索，可以为目标检测提供更丰富的互补信息。尽管如此，现有的可见光-红外目标检测方法在恶劣天气条件下严重退化。这种失败源于可见图像对环境扰动的显著敏...
16、论文阅读：Mamba YOLO：用于目标检测的基于 SSM 的 YOLO
DQHNB的博客
11-03 2068
在深度学习技术快速发展的推动下，YOLO 系列在实时目标检测器领域设立了新的标杆。研究人员在 YOLO 的基础上不断探索创新的重参数化、有效的层聚合网络和无锚技术的应用。为了进一步提升检测性能，基于 Transformer 的结构被引入，显著扩展了模型的感受野，并取得了显著的性能提升。然而，这些改进也带来了代价，因为自注意力机制的二次复杂性增加了模型的计算负担。幸运的是，状态空间模型 (SSM) 的出现有效地缓解了由二次复杂性引发的问题。基于这些进展，我们提出了Mamba-YOLO。
【YOLOv10改进 -注意力机制】Mamba之MLLAttention ：基于Mamba和线性注意力Transformer的模型
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-07 1394
Mamba是一种具有线性计算复杂度的有效状态空间模型。它最近在处理各种视觉任务的高分辨率输入方面表现出了令人印象深刻的效率。在本文中，我们揭示了强大的Mamba模型与线性注意力Transformer共享令人惊讶的相似性，而线性注意力Transformer在实践中通常不如传统Transformer。通过探索高效的Mamba和表现欠佳的线性注意力Transformer之间的相似性和差异，我们提供了全面的分析，揭示了Mamba成功背后的关键因素。具体来说，我们在统一的公式下重新定义了选择性状态空间模型和线性注意力
YOLOv8改进 | 添加注意力篇 | 结合Mamba注意力机制MLLA助力YOLOv8有效涨点（全网独家首发）
Snu77的博客
06-27 6386
本文给大家带来的改进机制是结合号称超越Transformer架构的Mamba架构的最新注意力机制MLLA，本文将其和我们YOLOv8进行结合，的原理是通过将Mamba模型的一些核心设计融入线性注意力机制，从而提升模型的性能。具体来说，MLLA主要整合了Mamba中的“忘记门”（forget gate）和模块设计（block design）这两个关键因素，同时MLLA通过使用位置编码（RoPE）来替代忘记门，从而在保持并行计算和快速推理速度的同时，提供必要的位置信息。
Mamba-YOLO：Mamba 主干网络适合处理更复杂的数据和场景 + Apache-2.0 开源可商用
Debroon
06-20 8438
在Mamba YOLO的架构中，核心组件如SS2D结构、ODSSBlock、Local Spatial Block (LS Block)、和Residual Gated Block (RG Block)与高级组成部分如ODMamba Backbone、Simple Stem、ODSSBlocks、Vision Clue Merge、PAFPN和Head之间存在直接的层级和功能关系。通常，Head会设置不同尺度的检测层，以处理从小到大的各种对象，确保模型可以广泛地适应不同的目标尺寸和场景。
狂发一区的YOLO，和Mamba是绝配！最新研究命中Nature，这泼天的高分思路你要不要！
学姐带你玩AI的博客
11-12 1763
朋友们，Mamba终于也对YOLO出手了！最近有关的新研究真是不少，比如Nature子刊上的YOLOv5_mamba、精度大幅领先YOLOv8的FER-YOLO等等，都是效果非凡，值得一品的好成果。这种结合不仅融合了Mamba在全局信息捕捉上的优势，还保留了YOLO在局部特征提取上的高效性，可以通过互补在多个维度为YOLO系列带来新的性能提升。可以说，，无论是对于目标检测领域的革新，还是单纯发表论文，都是非常好的选择。为了帮同学们抓紧机会，我已经挑选好了。
YOLOv10改进 | 添加注意力篇 | 结合Mamba注意力机制MLLA助力YOLOv10有效涨点含二次创新PSA（全网独家首发）
Snu77的博客
07-15 1652
本文给大家带来的改进机制是结合号称超越Transformer架构的Mamba架构的最新注意力机制MLLA，本文将其和我们YOLOv10进行结合，的原理是通过将Mamba模型的一些核心设计融入线性注意力机制，从而提升模型的性能。具体来说，MLLA主要整合了Mamba中的“忘记门”（forget gate）和模块设计（block design）这两个关键因素，同时MLLA通过使用位置编码（RoPE）来替代忘记门，从而在保持并行计算和快速推理速度的同时，提供必要的位置信息。
YOLOV8 中使用Vmamba。
qq_43190806的博客
04-19 4374
yolov8中使用SS2D，vmamba
基于Vmamba改进的目标检测算法，创新点，发论文，持续更新.....
qq_43190806的博客
03-03 4772
基于Vmamba网络结构，在视觉领域的系类应用
Mamba+目标检测：登Nature子刊新高度！小目标检测性能飞跃，刷新SOTA记录！
m0_73122726的博客
10-11 1495
近期，随着Mamba的横空出世，目标检测领域迎来了诸多崭新进展，尤为瞩目的是在Nature子刊上发表的YOLOv5_mamba，其在小目标检测方面展现出了卓越的性能，达到了业界的顶尖水平。为了方便大家能够更好的掌握这个创新思路，然后运用到自己的文章中，我为大家整理了最新的Mamba+目标检测研究论文！
【论文笔记】：Mamba YOLO SSMs-Based YOLO For Object Detection
2301_80365008的博客
08-31 2486
该篇论文中，引入了ODSSBlock模块，将SSM结构应用于目标检测领域。与用于图像分类的VSSBlock不同，用于目标检测的图像具有更大的像素，并且由于SSM模型通常对文本序列进行建模，缺乏对图像的通道表达能力，我们提出了LSBlock对通道特征进行建模。得益于图像较大的像素和较多的通道维度，我们提出了RGBlock结构在SS2D输出后进一步解码，利用点乘的高维表达方式提高通道相关性。Mamba - YOLO是视觉识别和检测任务中的一个重要进展，旨在构建一种结合SSM和CNN优点的新型骨干网络。
mamba-yolo 改进
最新发布
03-29
### Mamba-YOLO 的改进建议与性能优化 Mamba-YOLO 是一种基于 YOLO 架构的目标检测模型变体，其设计目标是在保持高精度的同时提升推理速度和资源利用率。以下是关于 Mamba-YOLO 的具体改进建议、性能优化以及实现细节： #### 一、网络架构调整 为了进一步提高 Mamba-YOLO 的效率和准确性，可以考虑以下几种方法来改进网络结构： - **轻量化卷积模块**：引入深度可分离卷积（Depthwise Separable Convolution），减少计算量并降低内存占用[^1]。 - **注意力机制集成**：通过加入 CBAM (Convolutional Block Attention Module) 或 SENet (Squeeze-and-Excitation Network)，增强特征图的空间和通道维度上的表达能力[^2]。 ```python import torch.nn as nn class DepthwiseSeparableConv(nn.Module): def __init__(self, in_channels, out_channels, kernel_size=3, stride=1, padding=1): super(DepthwiseSeparableConv, self).__init__() self.depth_conv = nn.Conv2d(in_channels=in_channels, out_channels=in_channels, groups=in_channels, kernel_size=kernel_size, stride=stride, padding=padding) self.point_conv = nn.Conv2d(in_channels=in_channels, out_channels=out_channels, kernel_size=1) def forward(self, x): x = self.depth_conv(x) x = self.point_conv(x) return x ``` #### 二、数据预处理策略 有效的数据增强技术能够显著改善模型泛化能力和鲁棒性： - 使用 Mixup 和 CutMix 数据增广方式，在训练阶段混合不同样本的信息，从而增加多样性[^3]。 - 应用马赛克拼接法（Mosaic Augmentation），随机组合四张图片作为输入图像的一部分，有助于学习更复杂的背景关系[^4]。 #### 三、损失函数定制 针对特定应用场景微调损失函数权重参数或者采用新型复合型损失函数可能带来更好的效果表现： - Focal Loss 可以缓解类别不平衡问题；而 CIoU Loss 则更加关注边界框回归任务中的几何属性匹配程度[^5]。 #### 四、硬件加速手段 充分利用现代 GPU/CPU 平台特性进行部署层面的提速操作也是不可或缺的一环： - TensorRT 转换工具链支持将 PyTorch/TensorFlow 导出 ONNX 文件再编译成高度优化运行时引擎实例[^6]。 - NCNN/MACE 等移动端框架则提供了跨平台移植解决方案以便于嵌入式设备上高效执行推断过程[^7]。 --- ###
评论 29
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值