Mamba再出手！助力图像增强提速21倍，Transformer时代终结？

最新研究显示，Mamba凭借其选择性状态空间架构和线性计算复杂度，正为图像增强领域带来革命性突破！清华与阿里联合推出的MILA模型通过动态门控机制，在超分辨率、去噪等任务中实现精度与速度的双提升；而FusionMamba创新性地融合多模态医学影像（如CT-MRI），通过跨模态动态特征增强模块，显著提升病灶边界的细节还原能力。更轻量化的MobileMamba仅需单卡A6000即可实时处理4K图像，比传统Transformer快21倍。

这场由Mamba引领的视觉增强革命，正在重新定义高效与精密的边界。我整理了10篇【Mamba+图像增强】的相关论文，全部论文PDF版，工中号 沃的顶会 回复“Mamba增强”即可领取

GFE-Mamba：Mamba-based AD Multi-modal Progression Assessment via Generative Feature Extraction from MCI

文章解析 

文章提出GFE-Mamba模型预测从轻度认知障碍（MCI）到阿尔茨海默病（AD）的进展。

该模型整合多种技术，利用多模态数据提升预测精度，经实验验证效果优于多种先进方法，为 AD 诊断提供新途径。

创新点 

提出3D GAN-ViT，以3D GAN 为骨干结合ViT，从MRI生成PET特征，增强特征提取能力。

构建多模态Mamba分类器，用Mamba块处理长序列数据，结合量表信息提高分类准确性。

引入像素级双向交叉注意力机制，有效捕捉MRI和PET的像素空间信息，提升模型性能。

研究方法 

构建MRI-PET数据集和MCI-AD数据集，为模型训练和评估提供数据支持。

采用3D GAN-ViT网络，将MRI数据转换为PET表示，进行生成任务学习和特征提取。

设计多模态Mamba分类器，对融合的表格和图像特征数据进行分类决策。

运用像素级双向交叉注意力机制，增强模型对图像像素级信息的利用能力。

研究结论 

GFE-Mamba 模型在预测 MCI 到 AD 的进展方面效果显著，在多项评估指标上优于其他先进模型。

模型各组件对性能提升至关重要，去除任何组件都会导致模型性能下降。

未来计划收集更多样化数据，开发集成系统，减轻临床医生诊断负担。

Fusion-Mamba for Cross-modality Object Detection

文章解析 

文章提出Fusion-Mamba方法用于跨模态目标检测，设计FMB块融合特征，在多个数据集上进行实验，验证其在减少模态差异、提升融合效果和检测性能方面的优势。

创新点 

首次探索Mamba在跨模态融合中的潜力，构建隐藏状态空间减少特征差异，增强融合特征的一致性。

设计包含SSC 和DSSF两个模块的Fusion-Mamba块，分别实现浅层和深层特征融合。

该方法在多个公开数据集上超越现有方法，为跨模态目标检测建立新基线。

研究方法 

搭建由双流特征提取网络、Fusion-Mamba块、颈部和头部组成的模型架构。

使用SSCS模块通过通道交换和VSS块增强跨模态特征浅层交互。

利用DSSF模块基于门控机制在隐藏状态空间进行深度特征融合。

在多个可见光 - 红外基准数据集上实验，对比评估模型性能。

研究结论 

Fusion-Mamba方法在跨模态目标检测任务中性能卓越，mAP提升明显，优于现有方法。

模型中的SSCS和DSSF模块有效，其位置和数量存在最优设置，双注意力机制可提升检测性能。

该研究证实了Mamba在跨模态融合中的潜力，为相关研究提供新思路。