【论文阅读笔记】U-Mamba: Enhancing Long-range Dependency for Biomedical Image Segmentation

最新推荐文章于 2025-04-25 10:19:13 发布
最新推荐文章于 2025-04-25 10:19:13 发布
阅读量6.5k 收藏 19
点赞数 16
CC 4.0 BY-SA版权
分类专栏： 医学图像分割 Mamba 文章标签： 论文阅读 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/cskywit/article/details/135669540
本文介绍了一种名为U-Mamba的新型网络结构，通过结合CNN的局部特征提取和SSM的长程依赖性，改进了生物医学图像分割。实验结果显示，U-Mamba在多个任务中超越了先进CNN和Transformer，特别是在CT和MR图像、内窥镜器械和细胞分割方面表现出色。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Ma J, Li F, Wang B. U-Mamba: Enhancing Long-range Dependency for Biomedical Image Segmentation[J]. arXiv preprint arXiv:2401.04722, 2024. 【开源】

本文对Mamba结构用于图像领域进行了简单的探索，就结构来说没有特别多创新，就是插入了Mamba块，但可以遇见下一个坑的到来。

【核心思想】

将CNN的局部特征提取能力与状态空间序列模型（SSM）的长程依赖性能力相结合。这种混合的CNN-SSM块使网络能够有效处理长序列，并具有自适应机制以适应各种数据集。

在四个不同的任务上进行了广泛的实验：CT和MR图像中的3D腹部器官分割、内窥镜图像中的器械分割以及显微镜图像中的细胞分割。在所有这些任务中，U-Mamba都展示出了优于现有最先进的CNN和Transformer网络的性能。

【网络结构】

  • 基本结构

U-Mamba采用了一个编码器-解码器（encoder-decoder）的网络结构，这种结构能够同时捕获局部特征和长程上下文。它由两个主要部分组成：编码器和解码器。

  1. 编码器：U-Mamba的编码器部分由特殊的构建块组成，这些构建块包括两个连续的残差块（Residual blocks），后接一个基于SSM的Mamba块。这种设计使得网络能够在保持对局部特征的敏感性的同时，增强对长程依赖性的建模能力。
  2. 解码器
最低0.47元/天 解锁文章
【Mamba】（202401）U-Mamba: Enhancing Long-range Dependency for Biomedical Image Segmentation
Edward的博客
04-02 4224
本文介绍了一种名为U-Mamba的通用生物医学图像分割网络，该网络旨在改进卷积神经网络（CNN）和Transformer在处理长距离依赖性方面的局限性。由于局部性和计算复杂性，CNN和Transformer在处理这类问题时能力有限。受状态空间序列模型（State Space Sequence Models, SSMs）的启发，我们设计了一个混合型CNN-SSM模块，它结合了卷积层强大的局部特征提取能力和SSMs捕捉长程依赖性的能力。
医图论文 Arxiv‘24 | UU-Mamba：用于心脏图像分割的不确定性感知U-Mamba
小白学视觉
01-06 221
生物医学图像分割对于准确识别和分析医学成像中的解剖结构至关重要，特别是在心脏磁共振成像（MRI）中。手动分割劳动密集、耗时且容易出错，突显了自动化方法的需求。然而，当前的机器学习方法面临过拟合和数据需求等挑战。为了解决这些问题，作者提出了一个新的UU-Mamba模型，将U-Mamba模型与Sharpness-Aware Minimization（SAM）优化器和不确定性感知损失函数集成在一起。SAM通过在损失景观中定位平坦的最小值来增强泛化能力，从而减少过拟合。
U-Mamba: Enhancing Long-range Dependency for Biomedical Image Segmentation
okimaru的博客
01-22 5033
卷积神经网络(Convolutional Neural Networks, cnn)和transformer是生物医学图像分割中最流行的架构，但由于固有的局部性或计算复杂性，它们处理远程依赖关系的能力有限。为了解决这一挑战，我们引入了U-Mamba，一个通用的生物医学图像分割网络。受状态空间序列模型(ssm)的启发，我们设计了一个混合CNN-SSM块，它将卷积层的局部特征提取能力与ssm捕获远程依赖的能力相结合。状态空间序列模型是一种以处理长序列的强大能力而闻名的新型深度序列模型。
Mamba+图像增强 发高区易如反掌！小白也能上手
最新发布
2401_88556812的博客
04-25 915
例如，在红外和可见光图像融合任务中，FusionMamba在VIF指标上比SwinFusion提升了0.14，SCD指标上提升了0.25，证明了其在图像融合任务中的优越性。性能提升：在LOL数据集上，RetinexMamba在PSNR指标上比Retinexformer提升了0.093（LOL_v1）和0.77（LOL_v2_real），在RMSE指标上降低了0.39（LOL_v2_real），证明了其在增强效果上的优越性。性能提升：在多任务图像恢复任务中，MTAIR在所有指标上均优于现有方法。
U-Mamba: Enhancing Long-range Dependency for Biomedical Image Segmentation论文阅读
walk_along_wall的博客
07-01 467
然后，将形状为 (B, C, H, W, D) 的图像特征展平并转置为 (B, L, C)，其中 L = H × W × D。在第一个分支中，特征通过线性层扩展为 (B, 2L, C)，后面跟着 1D 卷积层、SiLU 激活函数，并与 SSM 层一起扩展。最后，将特征投影回原始形状 (B, L, C)，然后重塑并转置为 (B, C, H, W, D)。文章对四个不同的任务进行了广泛的实验，包括 CT 和 MR 图像中的 3D 腹部器官分割、内窥镜图像中的仪器分割以及显微镜图像中的细胞分割。
日常阅读论文——U-Mamba
winner_liuhuan的博客
08-04 1803
很抽象。卷积神经网络（CNNs）和变换器（Transformers）是生物医学图像分割中最常用的两种结构，但由于其固有的局部性和计算复杂性，这两种结构在处理长范围相关性方面的能力都很有限。为了解决这一难题，我们引入了U-Mamba，一种用于生物医学图像分割的通用网络。受状态空间序列模型（SSM）的启发，我们设计了一个混合CNN-SSM模块，该模块将卷积层的局部特征提取能力与SSM捕捉长相关性的能力相结合。此外，U-Mamba还拥有一个自配置机制，使其能够自动适应各种数据集，而无需人工干预。
文献翻译（Mamba-UNet: UNet-Like Pure Visual Mamba for Medical Image Segmentation）
m0_54187478的博客
02-23 5594
在医学图像分析的最新进展中，卷积神经网络（CNN）和视觉变换器（ViT）已经设定了重要的基准。前者擅长通过卷积运算捕捉局部特征，而后者通过利用自注意机制实现了显著的全局上下文理解。然而，这两种架构在有效地建模医学图像中的长程依赖性方面都存在局限性，这是精确分割的关键方面。受Mamba架构的启发，我们提出了Mamba UNet，这是一种将医学图像分割中的U-Net与Mamba的能力协同的新架构。
[Mamba_1]U-Mamba
qq_54412311的博客
08-11 1331
卷积神经网络(Convolutional Neural Networks, cnn)和transformer是生物医学图像分割中最流行的架构，但由于固有的局部性或计算复杂性，它们处理远程依赖关系的能力有限。为了解决这一挑战，我们引入了U-Mamba，一个通用的生物医学图像分割网络。受状态空间序列模型(ssm)的启发，我们设计了一个混合CNN-SSM块，它将卷积层的局部特征提取能力与ssm捕获远程依赖的能力相结合。状态空间序列模型是一种以处理长序列的强大能力而闻名的新型深度序列模型。
VM-UNet:视觉Mamba UNet用来医学图像分割 论文及代码解读
热门推荐
Philo的博客
02-26 2万+
付费专栏，不定期分享最新医学图像分割论文，详细解读论文及代码，没有代码的论文不放在此专栏中！ 介绍了Mamba模型在医学图像分割领域的论文及相关代码，代码可直接复制使用
【深度学习总结】基于U-Mamba使用nnUNetv2处理BraTS挑战赛数据
qq_41234663的博客
07-24 2306
使用U-Mamba处理BraTs数据
推荐文章：探索生物医学图像分割的新境界 —— U-Mamba
gitblog_00368的博客
08-23 391
推荐文章：探索生物医学图像分割的新境界 —— U-Mamba U-Mamba项目地址:https://gitcode.com/gh_mirrors/um/U-Mamba 项目介绍 在深度学习的浪潮中，U-Mamba 如同其名字一样灵巧而强大，专为解决生物医学图像分割中的长距离依赖难题而生。该开源项目通过增强模型对图像中远距离信息的捕捉能力，显著提升了分割精度和效率。由一群致力于医疗影像分析的精英...
Swin-UMamba：基于Mamba和ImageNet预训练的医学图像分割模型
阿木寺的博客
02-16 1384
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达最后一天特惠活动！CVer学术星球新人和续费优惠券来了！为了感谢大家的支持，限时赠送10张50元新用户优惠券(下图左边二维码)，10张20元老用户续费券(下图右边二维码)，龙年坚持分享更多更好的工作，寒假不停更！助力你的科研和工作！顺利毕业升学，升职加薪！代码&模型：https://github.com/JiarunLiu...
【亲测免费】 U-Mamba 项目安装和配置指南
gitblog_09076的博客
09-13 751
U-Mamba 项目安装和配置指南 U-Mamba 项目地址: https://gitcode.com/gh_mirrors/um/U-Mamba 1. 项目基础介绍和主要...
U-Mamba：增强生物医学图像分割中的长程依赖
gitblog_09074的博客
09-13 402
U-Mamba：增强生物医学图像分割中的长程依赖 U-Mamba 项目地址: https://gitcode.com/gh_mirrors/um/U-Mamba 项目基础介...
关于Umamba和mamba-SSM输入的小笔记 （2D情况）
weixin_47426299的博客
03-02 1465
hidden_states是输入x, 在上面第一块代码里即为x_norm, x_norm的维度是 所谓（B，L, D）， 这里有符号的不同， 这里的D其实就是上面C， 即为特征厚度，或说特征通道数。L是HxW， 即把图像拉长成一维数据。训练或推理时迭代的x， 是(B, C, H ,W), B 为batch size, C是channel dim, 比如浅层或许为1， 3， 深层512, H, W 为当前图像长宽。) 里输入就用最正常的Pytorch格式就行，即 （B, C, H, W）,
Swin-UMamba：结合基于ImageNet的预训练和基于Mamba的UNet模型
AI浩
02-06 3985
准确的医学图像分割需要整合从局部特征到全局依赖的多尺度信息。然而，现有方法在建模长距离全局信息方面面临挑战，其中卷积神经网络（CNNs）受限于其局部感受野，而视觉转换器（ViTs）则受到其注意力机制高二次复杂度的困扰。最近，基于Mamba的模型因其在长序列建模中的出色能力而备受关注。多项研究表明，这些模型在各种任务中可以超越流行的视觉模型，提供更高的准确性、更低的内存消耗和更少的计算负担。
U-Mamba复现中遇到的问题及解决方法（完结）
weixin_43589205的博客
04-01 6726
U-Mamba复现中遇到的问题及解决方法
从Encoder-Decoder到Mamba网络
sca1p31的博客
07-10 1651
最近还是在做流量分类的项目，之前试过一些CV的方法，现在想结合NLP来做一些实验。于是准备从embedding开始学习，需要了解onehot编码，同时学习一些相关的编码方式以及NLP发展过程中经典的模型和结构，在这里对整个学习过程做一个记录。
Mamba-UNet: UNet-Like Pure Visual Mamba for Medical Image Segmentation
03-31
### Mamba-UNet 架构及其在医学图像分割中的应用 Mamba-UNet 是一种基于纯视觉模型的架构设计，专为医学图像分割任务而优化。它继承了 U-Net 的经典编码器-解码器结构，并通过引入创新性的模块来提升性能和效率。 #### 1. Mamba-UNet 的核心架构特点 Mamba-UNet 结合了 Vision Transformer 和卷积神经网络的优势，在保持高效计算的同时增强了特征提取能力。其主要特性如下： - **双流特征融合机制** Mamba-UNet 利用了多尺度特征图之间的交互作用，通过跨层连接实现更深层次的信息传递[^1]。这种设计显著提升了模型对复杂边界区域的理解能力。 - **轻量化注意力模块** 在传统 U-Net 基础上，Mamba-UNet 集成了高效的自注意力机制，用于捕捉全局上下文信息。这使得模型能够更好地处理具有较大形变的目标对象。 - **渐进式下采样策略** 不同于标准 U-Net 中固定的池化操作，Mamba-UNet 使用了一种动态调整步幅的方法来进行逐级降维。这种方法可以减少不必要的细节损失并保留更多语义信息。 #### 2. 应用场景与优势分析 Mamba-UNet 主要应用于医疗领域内的高精度图像分割任务，例如肿瘤检测、器官轮廓描绘以及细胞分类等。以下是该方法的一些具体应用场景及对应优点： - **脑部 MRI 图像分割** 对于大脑组织切片数据集而言，由于不同灰质白质区域之间存在模糊过渡带，因此需要极高分辨率才能区分细微差异。Mamba-UNet 凭借强大的局部感知能力和长距离依赖建模功能成功解决了这一难题。 - **肺结节 CT 扫描识别** 肺部影像通常伴有大量噪声干扰项，这对任何算法都构成了严峻挑战。然而借助精心设计的空间金字塔池化单元，再加上残差学习路径的支持，最终实现了稳健可靠的预测效果。 ```python import torch from torchvision import models class MambaUNet(torch.nn.Module): def __init__(self, num_classes=1): super(MambaUNet, self).__init__() # Encoder layers with progressive downsampling strategy self.encoder = [ torch.nn.Conv2d(3, 64, kernel_size=3, stride=1, padding=1), ... ] # Decoder layers incorporating lightweight attention modules self.decoder = [ torch.nn.ConvTranspose2d(128, 64, kernel_size=2, stride=2), ... ] self.final_conv = torch.nn.Conv2d(64, num_classes, kernel_size=1) def forward(self, x): skip_connections = [] for layer in self.encoder: x = layer(x) skip_connections.append(x) for i, layer in enumerate(self.decoder): x = layer(x) x += skip_connections[-i-1] output = self.final_conv(x) return output ``` 上述代码片段展示了如何构建一个简化版的 Mamba-UNet 模型框架。实际部署过程中可能还需要进一步调优参数配置以适应特定需求环境下的表现指标要求。 #### 总结 综上所述，Mamba-UNet 提供了一个灵活且有效的解决方案来应对现代医学成像技术所带来的各种新问题。凭借独特的体系结构改进措施，不仅提高了整体运行速度还兼顾到了准确性方面的要求。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值