ICCV25! 上交&中科院MambaFusion: 首个SOTA Mamba多模态3D检测

最新推荐文章于 2025-09-09 10:21:48 发布
原创 最新推荐文章于 2025-09-09 10:21:48 发布 · 1.3k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#3d

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

今天自动驾驶之心为大家分享上交&中科院ICCV'25中稿的最新工作—MambaFusion！首个SOTA的纯Mamba多模态3D检测。如果您有相关工作需要分享，请在文末联系我们！

自动驾驶课程学习与技术交流群事宜，也欢迎添加小助理微信AIDriver004做进一步咨询

>>自动驾驶前沿信息获取→自动驾驶之心知识星球

论文作者 | Hanshi Wang等

编辑 | 自动驾驶之心

论文总结

ICCV 2025 中稿的最新工作！本文首次提出了使用纯 Mamba 模块实现高效密集全局融合，并在相机–LiDAR 多模态 3D 目标检测任务上达到SOTA性能。

现有的LiDAR-Camera多模态融合策略往往难以在计算效率、长程建模能力和完整场景信息保留之间取得平衡；受到状态空间模型和线性注意力的启发，本文尝试利用其线性计算复杂度和长程建模能力来解决这些挑战，但实验表明，简单采用高效线性方法反而因高度信息丢失导致多模态对齐偏差而性能退化。

为此，本文首先设计了一种高度保真 LiDAR 编码，通过在连续空间中对体素进行压缩，有效保留精确的高度信息，显著增强相机与 LiDAR 特征的对齐效果；随后提出了混合 Mamba 模块，利用这些丰富的高度特征同时进行局部和全局上下文学习。整合上述组件后，本方法在 nuScenes 验证集上取得了 75.0 NDS，不仅超越了多种依赖高分辨率输入的顶尖方案，而且在推理速度上也领先于大多数最新方法。

  • 论文标题：Height-Fidelity Dense Global

最低0.47元/天 解锁文章
【2025ICCV-目标检测方向】WaveMamba：用于 RGB-红外目标检测的小波驱动曼巴融合
hasakie的博客
08-03 607
摘要： WaveMamba提出了一种基于小波变换和Mamba的RGB-红外图像融合目标检测方法。通过离散小波变换（DWT）分析，发现红外图像富含低频结构信息，而RGB图像高频细节更丰富。核心模块WaveMambaFusionBlock（WMFB）采用低频Mamba融合块（LMFB）进行跨模态交互，高频部分通过"绝对最大值"策略保留关键细节。改进的检测头集成逆DWT（IDWT）减少上采样信息损失。实验在M3FD等四个数据集上验证了其优越性，mAP平均提升4.5%，推理速度优于Transfo
2025年，多模态特征融合将迎来第二轮爆发！
Tulingjin的博客
08-02 2250
三篇最新 SOTA 分别用 MLLM+层级注意力破解贴纸情绪、三流 UV-Polar 融合刷新 KITTI 3D 检测、语义-深度双引导实时占领用预测，证明“跨模态协同”在自动驾驶、医疗、教育等场景都能打出精度与速度的组合拳。
【论文阅读 | CVPR 2024 |Fusion-Mamba ：用于跨模态目标检测】
berling00的博客
06-22 3110
跨模态融合通过有效整合不同模态的互补信息，显著提升了目标检测性能，使其在更广泛的应用场景中更具实用性和鲁棒性。现有融合策略通常通过精心设计的神经网络模块来结合不同类型的图像或融合不同主干特征。然而，这些方法忽视了模态差异对跨模态融合性能的影响 —— 由于不同模态的相机焦距、位置和角度差异，其特征难以有效融合。本文中，基于改进的 Mamba 与门控机制，通过在隐藏状态空间中关联跨模态特征来研究跨模态融合。我们设计了Fusion-Mamba 模块FMB。
FusionMamba
whaosoft143ai的博客
08-15 1724
作者提出了FusionMamba，这是一种新颖的动态特征增强多模态图像融合方法，使用了Mamba。具体来说，作者设计了一个改进的高效Mamba模型用于图像融合，该模型集成了高效的视觉状态空间模型与动态卷积和通道注意力。多模态图像融合旨在从不同的模态中整合信息，以创建具有全面信息和详细纹理的单张图像。然而，基于卷积神经网络融合模型在捕捉全局图像特征方面存在局限性，这是由于它们侧重于局部卷积操作。尽管基于Transformer的模型在全球特征建模方面表现出色，但它们却面临着由二次复杂度引起的计算挑战。 近期，
小波变换+Mamba | 清华带飞！开启跨模态与遥感分析新范式
最新发布
LLM_jingjinzhilu的博客
09-09 950
摘要（150字）： 小波变换与Mamba模型的结合为计算机视觉和遥感领域带来技术革新。小波变换通过多尺度分析捕捉图像全局与局部特征，而Mamba模型凭借线性复杂度高效处理长序列数据。研究聚焦双模态融合与变化检测，如WaveMamba利用离散小波变换分解RGB-红外图像的频域特征，通过WaveMamba融合块实现高低频互补；RDSF-Net则结合残差小波与CMamba编码器，增强遥感变化检测的精度。这些方法创新性地融合频域分析与状态空间模型，在目标检测、环境监测等应用中展现优势，推动了多模态数据处理的技术边界
FusionMamba: Efficient Image Fusion with State Space Model【文献阅读】
陈嘿萌的博客
05-02 2570
图像融合的目的是生成高分辨率的多光谱/高光谱图像（multi/hyper-spectral image），通过结合有限空间信息的高分辨率图像和具有大量空间信息的低分辨率图像。当前基于深度学习的图像融合方法主要是基于CNN和Transformer模型去提取图像的特征和融合不同类型的数据。CNN虽然和有效，但是限制于它的感受野，限制了他们去进行全局建模的能力。Transformer虽然能够专注于全局建模，但被它的二次计算复杂度所阻碍。
FusionMamba:动态特征增强与曼巴的多模态图像融合
qq_45880982的博客
04-29 5089
多模态图像融合旨在从不同的模态中整合信息，以创建具有全面信息和详细纹理的单张图像。然而，基于卷积神经网络融合模型在捕捉全局图像特征方面存在局限性，这是由于它们侧重于局部卷积操作。尽管基于Transformer的模型在全球特征建模方面表现出色，但它们却面临着由二次复杂度引起的计算挑战。近期，选择性的结构化状态空间模型显示出在具有线性复杂度的情况下建模长距离依赖关系的显著潜力，这为解决前述困境提供了一条有希望的道路。
FusionMamba:Dynamic Feature Enhancement forMultimodal Image Fusion with Mamba基于Mamba的多模态图像融合动态特征增强方法
Together_CZ的博客
12-21 2992
FusionMamba:Dynamic Feature Enhancement forMultimodal Image Fusion with Mamba基于Mamba的多模态图像融合动态特征增强方法
二段式端到端新SOTA！港科大FiM：从Planning的角度重新思考轨迹预测（ICCV‘25）
CV_Autobot的博客
07-27 1088
表6的结果突显了这一设计的优势。实验结果表明，我们的推理增强型预测器具备强大的能力，能够生成与场景布局高度吻合的、自信且可靠的未来轨迹，并在性能上达到了与现有最先进模型相当甚至更优的水平。此外，我们的工作强调了意图推理在运动预测中的关键作用，证实了强化学习（RL）范式在建模驾驶行为方面的可行性，并为未来在轨迹预测领域的研究建立了一个极具前景的基线模型。通过利用这一范式，我们的方法提供了有价值的奖励启发式信息，能够有效推理未来行为的意图，为解决运动预测任务固有的复杂性提供了信息丰富的先验。
硬刚恶劣天气！Mamba 引领目标检测新风向
CV_Autobot的博客
05-03 2922
作者|小书童 编辑| 集智书童点击下方卡片，关注“自动驾驶之心”公众号戳我-> 领取自动驾驶近15个方向学习路线>>点击进入→自动驾驶之心『目标检测』技术交流群本文只做学术分享，如有侵权，联系删文跨模态图像融合了可见光-红外光谱线索，可以为目标检测提供更丰富的互补信息。尽管如此，现有的可见光-红外目标检测方法在恶劣天气条件下严重退化。这种失败源于可见图像对环境扰动的显著敏...
[Mamba]FusionMamba：基于状态空间模型的高效图像融合
weixin_49090702的博客
04-13 3985
定量和定性评估结果表明，FusionMamba方法达到了最先进的性能。：提出了一个包含空间U-Net和光谱U-Net的网络结构，分别从PAN/RGB图像中提取空间特征，从LRMS/LRHS图像中捕获光谱特征，这种结构允许独立和层次化的学习。：扩展了Mamba模块以支持双输入，创建了一个新的模块，称为FusionMamba模块，它比现有的融合技术（如连接和交叉注意力）更有效。：提出了一种新颖的图像融合方法，名为FusionMamba，它通过结合Mamba模块到两个U形网络中，实现了空间和光谱特征的有效提取。
Mamba3D革新3D点云分析：超越Transformer，提升本地特征提取效率与性能！
math_bearrr的博客
05-02 3511
Mamba3D是一种专为3D点云学习设计的状态空间模型，它在处理无序点云数据时展现出卓越的性能和高效率。与传统的Transformer模型相比，Mamba3D通过其线性复杂度优势，能够处理更大规模的数据集，同时保持较低的参数数量和计算成本。Mamba3D的设计灵感来源于Mamba模型，该模型是基于状态空间模型（SSM）的一种高效实现。Mamba模型通过引入选择机制，有效压缩上下文信息，使其能够处理长序列数据。
创飞CNN和Transformer！Mamba+多模态图像融合，性能速度双巅峰！霸榜顶会！
2401_88190197的博客
11-18 1159
Mamba的引入，给多模态图像融合带来了全新的视角，使图像融合的质量和效率都得到了显著提升！这是因为，以往主要是用CNN和Transformer做多模态图像融合。但CNN无法捕捉全局信息；Transformer囿于二次计算复杂度，计算开销大。而Mamba同时具有长距离依赖建模和计算效率高的优势，能够克服两者的局限。比如模型FusionMamba便通过结合Mamba，不仅性能提升25.5％，在视觉上也展现了更多细节！此外，Mamba作为新模型，当下还在蓝海阶段，创新空间很大。
ICCV 2025 | WaveMamba: Wavelet-Driven Mamba Fusion for RGB-Infrared Object Detection
画心
08-01 1721
本文提出WaveMamba，一种基于小波变换和Mamba的RGB-红外跨模态目标检测方法。研究发现RGB和红外图像在频域具有互补特性：红外图像低频信息丰富，RGB图像高频细节突出。WaveMamba通过离散小波变换分解特征，采用低频Mamba融合块（结合通道交换和门控注意力）和高频绝对最大值增强策略，实现高效特征融合。在六个基准数据集上的实验表明，该方法平均mAP提升4.5%，同时保持较低计算开销，为跨模态目标检测提供了新思路。
出现断层了？ICCV2025的自动驾驶方向演变...
CV_Autobot的博客
07-25 569
自动驾驶之心知识星球，作为国内最大的自驾技术社区，一直在给行业和个人输送各类人才、产业学术信息。标题：ORION: A Holistic End-to-End Autonomous Driving Framework by Vision-Language Instructed Action Generation。标题：World4Drive: End-to-End Autonomous Driving via Intention-aware Physical Latent World Model。
又有很多自动驾驶工作中稿了ICCV 2025，我们发现了一些新趋势的变化...
CV_Autobot的博客
08-16 357
据自动驾驶之心了解，业内多家公司都在攻坚闭环仿真，但做的好的寥寥无几，当前的效果只能说是在『能用』的阶段，并且工业界聚焦在更细力度上的性能，不止是整体的重建效果，比如车道线、待转区、红绿灯、车灯、行人步态等等会影响自车行为的因素都是实际需要考虑的；欢迎随时提问，他们将会为大家答疑解惑。OCC和检测：OCC和检测还是有很多工作中稿的，但不在局限于『刷性能』，我们看到了很多细分方向的工作，OCC和世界模型、开集目标检测、检测+Mamba、OCC和Gaussion等等，这些相对成熟的方向正在深挖小的痛点和难点；
BEVStereo | nuScenes纯视觉3D目标检测新SOTA！(旷视、中科大)
CV_Autobot的博客
09-30 4179
点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心技术交流群后台回复【3D检测综述】获取最新基于点云/BEV/图像的3D检测综述！论文链接：https://arxiv.org/pdf/2209.10248.pdf代码链接：https://github.com/Megvii-BaseDetection/BEVStereo摘要受深度估计固有的模糊性限制，目前基于相...
结合创新！小波变换＋Mamba性能爆炸，妥妥顶会＆顶刊神器！
学姐带你玩AI的博客
02-05 1681
2025刚开年，就又出新成果了！这次是，提出了一种新的面部伪造检测方法WMamba，显著提升了检测精度和泛化能力！还有前不久刚发表的红外图像超分辨率新方法IRSRMamba，结合了小波变换和基于Mamba的模型架构，在多个基准数据集上都取得了SOTA性能！另外还有IEEE GRSL 2024上的WaveMamba、ACCV 2024上的WalMaFa…最近小波变换＋Mamba这方向确实是火热非常。
ICCV 2019: PyTorch 1.0+兼容的3D车辆检测与跟踪框架
总结而言，这项研究为我们提供了一种强大的工具，以解决3D车辆检测和跟踪中的关键问题，并在多个领域展示了其应用潜力。随着技术的不断成熟，该框架将成为实现智能交通和自动驾驶等目标的基石之一。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值