杀疯了！Mamba+Transformer 组合在 CVPR-2025 疯狂收割顶会席位！！

已于 2025-03-12 14:12:37 修改
阅读量679 收藏 19
点赞数 10
分类专栏： 整理类 文章标签： transformer 深度学习 人工智能
于 2025-03-12 14:09:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Malaai/article/details/146203576
版权

【导读】

在人工智能前沿研究中，【Mamba与Transformer】的融合是当下备受瞩目的焦点。

计算机视觉领域，英伟达团队研发的MambaVision成功入选顶级会议CVPR - 2025。其采用分层架构，前两阶段借CNN层快速提取高分辨率特征，后两阶段融合Mamba与Transformer模块Mamba模块经创新改造，将因果卷积替换为常规卷积并新增对称分支。这一设计使MambaVision在Top - 1精度和图像吞吐量上超越同类模型，实现新SOTA。

自然语言处理方面，腾讯发布的Hunyuan - TurboS作为首款超大型混合Transformer - Mamba MoE模型备受关注。它整合Mamba高效处理长序列及Transformer深度理解上下文的优势，解决传统Transformer长文本处理效率瓶颈，在训练优化及奖励系统上也有创新。与以往模型相比，二者创新性地融合Mamba与Transformer，在各自领域独树一帜。

目前该领域研究热度极高，成果众多。我整理了12篇论文能助力读者了解这一前沿趋势，为大家科研和论文写作提供有价值的参考。

【论文】MambaVision: A Hybrid Mamba-Transformer Vision Backbone

Top-1 accuracy vs. image throughput on ImageNet-1K.

1.研究方法

The architecture of hierarchical MambaVision models.

The architecture of hierarchical MambaVision models.

论文提出的MambaVision采用独特的分层架构作为理论方法，共4个阶段。前两个阶段借助基于CNN的层，在高分辨率输入下快速提取特征，其中CNN块遵循特定的残差块公式；后两个阶段集成MambaVision和Transformer模块。图像输入后先转换为重叠补丁并投影到嵌入空间，各阶段间利用批归一化的3×3 CNN层下采样以降低分辨率。微观架构上，重新设计Mamba模块，将因果卷积替换为常规卷积，新增无SSM的对称分支，两者输出连接后投影，同时采用通用多头自注意力机制，以此提升模型在视觉任务中的性能 。

2.论文创新点

Architecture of MambaVision block

  • 重新设计Mamba块：改进了原始Mamba架构，使其更适用于视觉任务，在精度和图像吞吐量上优于原始架构。

  • 探索混合架构：系统研究了Mamba和Transformer块的集成模式，发现最后阶段融入自注意力块可显著提升捕捉全局上下文和长距离空间依赖的能力。

  • 性能优势显著：MambaVision在ImageNet - 1K数据集上，实现了Top - 1准确率和图像吞吐量的SOTA帕累托前沿，超越了基于Mamba、CNN和ViT的模型。在下游任务，如目标检测、实例分割和语义分割中，也优于尺寸相当的骨干网络。

【腾讯Hunyuan-TurboS】首款超大型混合Transformer-Mamba MoE模型震撼发布

1.研究方法

在这里插入图片描述 这款混

  • 架构融合：融合Mamba与Transformer，Mamba降低长文本处理复杂度至O(n)，减少缓存占用，Transformer负责上下文理解，构建出兼具高效与强理解能力的混合架构，且在超大型MoE模型中无损应用Mamba 。

  • 训练优化：引入慢思考集成提升数理推理能力，通过精细化指令调优增强模型与人类需求的契合度，针对英语训练以提升通用性能。

  • 奖励升级：用规则评分、代码沙箱反馈及生成式奖励，保障输出质量，提升特定领域准确性，优化问答与创意任务表现 。

2.论文创新点

在这里插入图片描述

架构创新

  • 混合架构：创新性融合Mamba与Transformer，Mamba降低长文本处理复杂度至O(n)，Transformer负责强大上下文理解，打造显存与计算效率双优架构。

  • MoE机制：采用动态专家混合机制，在提升模型性能同时，大幅降低长文处理成本超60% 。

训练优化创新

  • 慢思考集成：引入慢思考方式，结合混元T1慢思考模型数据，显著提升数学、编程和推理任务表现。

  • 指令调优：精细化指令调优，增强模型对齐性与Agent执行能力，更好契合人类需求。

  • 英语优化：针对英语训练优化，提升模型通用性能，增强全球场景适用性 。

奖励系统创新

  • 规则评分验证：基于规则评分并一致性验证，保障模型输出质量与可靠性。

  • 代码沙箱反馈：引入代码沙箱反馈，大幅提升STEM领域输出准确性。

  • 生成式奖励：利用生成式奖励优化问答与创意任务，减少奖励作弊 。

需要论文合集和代码资料的

看我主页【AI学术工坊】

【CVPR2024 】Mamba 再夺一城：DiffuSSM来了！没有注意力的扩散模型
weixin_49090702的博客
03-18 3225
本研究提出了一种无需注意力机制的扩散模型，通过引入Diffusion State Space Model (DIFFUSSM)架构，有效处理高分辨率图像生成问题，同时显著减少总FLOP使用量。
极市平台 | 首个Mamba+Transformer混合架构多模态大模型来了，实现单卡千图推理
csdn_xmj的博客
09-22 1549
LongLLaVA（长上下文大型语言和视觉助手）这一创新性混合架构模型，在长上下文多模态理解方面表现出色。该模型集成了 Mamba 和 Transformer 模块，利用多个图像之间的时空依赖性构建数据，并采用渐进式训练策略。
CVPR 2025 | 清华提出MambaIRv2：图像复原超强SOTA模型
最新发布
3D视觉工坊
03-21 147
在现有的基于Mamba的图像恢复方法中，原始图像中相距遥远的像素通常在展开的序列中仍然相距遥远，导致查询像素对于已经扫描的、空间上遥远但相似的像素的利用不足。我们的关键见解是，与自回归语言建模不同，图像恢复是一个非因果任务，所有像素都可以一次性观察到，因此我们可以重新定义令牌邻域，使得语义相似的令牌在展开的序列中空间上更接近。这种mamba，或者更一般的自回归模型，的固有性质虽然对NLP任务很match，但是对非因果的视觉任务其实是存在局限的，因为大多数的视觉任务的所有token，即像素，是一次性可观的。
Mamba+Transformer这对科研CP大猛，成为 CVPR 2025 绝对的宠儿，狂发顶会，神作频出！
03-12 925
在人工智能前沿研究中，是当下备受瞩目的焦点。计算机视觉领域，英伟达团队研发的MambaVision成功入选顶级会议CVPR 2025。其采用分层架构，前两阶段借CNN层快速提取高分辨率特征，后两阶段。Mamba模块经创新改造，将因果卷积替换为常规卷积并新增对称分支。这一设计使MambaVision在Top - 1精度和图像吞吐量上超越同类模型，实现新SOTA。自然语言处理方面，作为备受关注。
顶会蓝海：Mamba+CNN+Transformer！新作准确率近100％！
2401_82426425的博客
02-12 872
一方面，其能充分利用Mamba的高效序列处理能力、CNN的局部感受野优势和Transformer的全局上下文捕捉能力，不仅能提升模型性能，还能降低计算复杂度！比如模型DualMamba，便在高光谱任务中，实现了准确率高达99.66％、参数量减少94.5％、FLOPs减少94.2％的炸裂效果！另一方面，相比其他结合，Mamba是新技术，还不算卷，目前还在上升期，创新机会很多！不管你是做在图像处理，还是自然语言处理，或者多模态融合等任务，都非常推荐你关注！
江大白 | CVPR2025，英伟达提出首个Mamba-Transformer视觉骨干网络！（附论文和源码）
csdn_xmj的博客
03-13 1305
CVPR 2025，混合新架构MambaVision来了！Mamba+Transformer混合架构专门为CV应用设计。MambaVision 在Top-1精度和图像吞吐量方面实现了新的SOTA，显著超越了基于Transformer和Mamba的模型。
NeurIPS 2024 | Mamba杀入异常检测！MambaAD：第一个使用Mamba进行多类无监督异常检测...
阿木寺的博客
10-13 990
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Mamba和异常检测】交流群添加微信号：CVer111，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！编辑：CVer 微信公众号｜作者：CVer粉丝投稿（来自浙大，腾讯优图，南洋理工大学）论文...
颠覆Transformer！新架构Mamba引爆AI圈！
阿木寺的博客
12-06 604
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【视觉和Transformer】微信交流群扫码加入CVer知识星球，可以最快学习到最新顶会顶刊上的论文idea和CV从入门到精通资料，以及最前沿项目和应用！发论文，强烈推荐！在CVer微信公众号后台回复：Mamba，即可下载论文pdf和代码链接！快学起来！转载自：机器之心 |编辑：张倩、蛋酱屹立不倒的 Tran...
CVPR 2024 涨点！RMem: 用更少的信息，理解更难/更长的视频
阿木寺的博客
06-17 405
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Mamba/多模态/扩散】交流群添加微信：CVer5555，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！作者：庞子奇https://zhuanlan.zhihu.com/p/703340384...
CVPR 2025 | MobileMamba：轻量级多感受野视觉Mamba主干
阿木寺的博客
02-27 1487
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【顶会/顶刊】投稿交流群添加微信号：CVer2233，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！（来自浙大，腾讯优图，华中科技大学）论文链接：https://arxiv.org/pdf/241...
Mamba+Transformer，可实现超Transformer5倍吞吐量！
2401_88556812的博客
12-10 1838
Mamba-Transformer专家模型：提出了一个多尺度混合Mamba-Transformer专家模型（SST），通过结合Mamba和Local Window Transformer（LWT）来分别处理长时序的全局模式和短时序的局部变化。综合性能提升：在多个领域和任务中，SSMs展现出与Transformer竞争的性能，特别是在语言领域任务中，SSMs在标准回归上下文学习（ICL）任务中表现出色，与Transformer相比，在稀疏奇偶性学习任务中表现更优。
Integrating Mamba and Transformer for Long-Short Range Time Series Forecasting———PRELIMINARIES
m0_51200050的博客
07-25 1207
相比传统的RNN和LSTM，SSM具有更好的计算效率，特别是在长时间序列中。例如，知道某天是周末还是工作日、某个时间点是白天还是晚上，可以帮助模型更好地预测某些类型的数据，如交通流量或能源消耗。这个卷积过程允许在一次计算中考虑到多个时间步的输入对输出的影响，从而实现更高效的计算。步，以包含最新的数据。这种方法确保了模型始终使用最新的信息进行预测，有助于应对时间序列中的变化趋势。的未来值，这要求模型能够捕捉和理解数据中的趋势和模式，从而提供精确的预测。个时间步的信息，并且根据这些新的数据进行下一步的预测。
Integrating Mamba and Transformer for Long-Short Range Time Series Forecasting————4 METHODOLOG
m0_51200050的博客
07-25 1263
Mambaformer模型通过结合Mamba块和多头注意力机制，利用状态空间建模和注意力机制捕捉时间序列数据中的长短期依赖关系。这种架构允许高效处理和预测，融合了Mamba和Transformer模型的优势。受混合架构在语言建模中优势的启发【23】，我们提出利用Mambaformer来整合Mamba和Transformer，以捕捉时间序列数据中的长短期依赖，从而提升性能。Mambaformer采用类似GPT系列【5, 25, 26】的仅解码器（decoder-only）架构。
Mamba+目标检测：登Nature子刊新高度！小目标检测性能飞跃，刷新SOTA记录！
m0_73122726的博客
10-11 1406
近期，随着Mamba的横空出世，目标检测领域迎来了诸多崭新进展，尤为瞩目的是在Nature子刊上发表的YOLOv5_mamba，其在小目标检测方面展现出了卓越的性能，达到了业界的顶尖水平。为了方便大家能够更好的掌握这个创新思路，然后运用到自己的文章中，我为大家整理了最新的Mamba+目标检测研究论文！
刷新多个SOTA！最新Mamba魔改版本超越transformer，GPU内存消耗减少74%
学姐带你玩AI的博客
02-23 4591
因模型规模的扩展和需要处理的序列不断变长，transformer逐渐出现计算量激增、计算效率下降等问题。为克服这些缺陷，研究者们提出了Mamba。Mamba是一种创新的线性时间序列建模方法，它结合了递归神经网络（RNN）和卷积神经网络（CNN）的特点，以提高处理长序列数据时的计算效率。Mamba的设计和实现都展现出在处理长序列时的优势，在语言建模方面成功超越transformer。因此，面向Mamba及其魔改变体的研究也逐渐成为了热门，出现了很多可挖掘的创新点。为帮助同学们获取灵感，我整理了。
Mamba+Transformer完美融合，效果炸裂！
m0_73122726的博客
08-02 1600
因模型规模的扩展和需要处理的序列不断变长，transformer逐渐出现计算量激增、计算效率下降等问题,研究者们提出了——，它结合了递归神经网络（RNN）和卷积神经网络（CNN）的特点，以提高处理长序列数据时的计算效率。为帮助同学们获取灵感，我整理了5种今年最新的Mamba结合创新方案，希望能给各位的学术研究提供一些帮助。
Mamba+Transformer混合架构多模态大模型
2401_84205765的博客
02-21 988
多模态大语言模型（MLLMs）的快速进步展示了它们在各个应用领域中的显著能力。然而，多图像理解场景仍然是一个重要但尚未充分探索的方面。特别是，将 MLLMs 的应用场景扩展到理解更长的视频、更高分辨率的图像以及基于更多历史信息的决策，对于提升用户体验和进一步拓展 MLLMs 的应用范围至关重要。然而，将 MLLM 的上下文长度扩展以提高其可用性，面临着处理更多图像时性能下降和计算成本高昂的挑战。一些研究专注于构造包含多个图像的长上下文训练数据，以增强性能。其他研究探索了创新性的训练策略，以减轻性能下降。
CVPR2024满分论文出炉！这些方向杀疯了！
我爱计算机视觉
05-20 556
随着人工智能界的持续进步，不断有研究者将新的模型和算法应用到计算机视觉领域。计算机视觉所处理的问题越来越丰富，目前主流的计算机视觉任务，主要包括三维重建、目标检测、图像分割、OCR、视频分析和图像生成等。如何更迅速地抓住CV领域热点，并将时下热门技术相结合呢？我复盘并整理了2024年最新热门方向，包含CV领域多个热点，从讲解原理技术到论文代码复现，顶会科研大牛带你深入探讨CV热点，原价699元，限...
mamba＋transformer
01-07
### 使用Transformer库在Mamba环境中的方法 安装并配置好Mamba之后，在该环境下使用Transformers库变得十分便捷。为了确保能够顺利操作，需先创建一个新的Mamba环境[^1]： ```bash mamba create -n transformers_env python=3.9 ``` 激活所创建的环境以便于后续的操作: ```bash conda activate transformers_env ``` 接下来，可以利用`pip`来安装Hugging Face Transformers库以及其依赖项： ```bash pip install transformers ``` 对于某些特定模型可能还需要额外的数据处理工具或是优化器等组件，这些通常也可以通过类似的命令一并安装完成。 一旦完成了上述准备工作，则可以在Python脚本里导入所需的模块并开始构建自然语言处理应用了。下面是一个简单的例子展示如何加载预训练好的BERT模型来进行文本分类任务: ```python from transformers import BertTokenizer, BertForSequenceClassification tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') model = BertForSequenceClassification.from_pretrained('bert-base-uncased') text = "Replace me by any text you'd like." encoded_input = tokenizer(text, return_tensors='pt') output = model(**encoded_input) print(output.logits) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值