U-Mamba: Enhancing Long-range Dependency for Biomedical Image Segmentation

最新推荐文章于 2025-03-11 19:19:14 发布
最新推荐文章于 2025-03-11 19:19:14 发布
阅读量4.9k 收藏 67
点赞数 57
分类专栏： 深度学习 文章标签： 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/okimaru/article/details/135755004
版权
文章介绍了一种新型网络U-Mamba，它结合了卷积神经网络和状态空间序列模型，以解决生物医学图像分割中的远程依赖问题。U-Mamba在多种任务上表现出色，优于基于CNN和Transformer的现有网络，展示了在医疗图像分析中有效建模远程依赖的潜力。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Abstract

卷积神经网络(Convolutional Neural Networks, cnn)和transformer是生物医学图像分割中最流行的架构，但由于固有的局部性或计算复杂性，它们处理远程依赖关系的能力有限。为了解决这一挑战，我们引入了U-Mamba，一个通用的生物医学图像分割网络。受状态空间序列模型(ssm)的启发，我们设计了一个混合CNN-SSM块，它将卷积层的局部特征提取能力与ssm捕获远程依赖的能力相结合。状态空间序列模型是一种以处理长序列的强大能力而闻名的新型深度序列模型。此外，U-Mamba具有自配置机制，允许它自动适应各种数据集，而无需人工干预。我们对四种不同的任务进行了广泛的实验，包括CT和MR图像中的三维腹部器官分割，内窥镜图像中的仪器分割和显微镜图像中的细胞分割。结果表明，U-Mamba在所有任务中都优于最先进的基于cnn和基于transformer的分割网络。这为生物医学图像分析中有效的远程依赖建模开辟了新的途径。代码、模型和数据可以在https://wanglab.ai/u-mamba.html上公开获得。

关键词:图像分割·骨干网·状态空间模型·变压器

1 Introduction

在本文中，我们提出了U-Mamba，一个通用的网络，用于三维和二维生物医学图像分割。基于创新的混合CNNSSM架构，U-Mamba可以捕获图像中的局部细粒度特征和远程依赖关系。该网络通过提供特征尺寸的线性缩放，而不是通常与变压器相关的二次复杂度，从流行的基于变压器的体系结构中脱颖而出。此外，U-Mamba的自配置功能可以无缝适应各种数据集，增强其在一系列生物医学细分任务中的可扩展性和灵活性。在四个不同的数据集上的定量和定性结果表明，U-Mamba取得了卓越的性能，大大超过了基于transformer的网络。这为未来网络设计的进步铺平了道路，有效地模拟生物医学成像中的远程依赖关系。

2 Method

U-Mamba遵循编码器-解码器网络结构，以有效的方式捕获本地特征和远程上下文。图1显示了U-Mamba区块的概况和完整的网络结构。

a, U-Mamba构建块包含两个连续的残余块，后面是基于ssm的Mamba块，用于增强的远程依赖关系建模。

b, U-Mamba采用编码器-解码器框架，其中U-Mamba块在编码器中，剩余块在解码器中，以及跳过连接。

注:此图作为概念性表示。U-Mamba继承了nnU-Net的自配置特性，并且在数据集之间自动确定网络块的数量。详细

最低0.47元/天 解锁文章
【Mamba】（202401）U-Mamba: Enhancing Long-range Dependency for Biomedical Image Segmentation
Edward的博客
04-02 3853
本文介绍了一种名为U-Mamba的通用生物医学图像分割网络，该网络旨在改进卷积神经网络（CNN）和Transformer在处理长距离依赖性方面的局限性。由于局部性和计算复杂性，CNN和Transformer在处理这类问题时能力有限。受状态空间序列模型（State Space Sequence Models, SSMs）的启发，我们设计了一个混合型CNN-SSM模块，它结合了卷积层强大的局部特征提取能力和SSMs捕捉长程依赖性的能力。
VM-UNet:视觉Mamba UNet用来医学图像分割 论文及代码解读
热门推荐
Philo的博客
02-26 2万+
付费专栏，不定期分享最新医学图像分割论文，详细解读论文及代码，没有代码的论文不放在此专栏中！ 介绍了Mamba模型在医学图像分割领域的论文及相关代码，代码可直接复制使用
【IDE】MetricsReloaded 复杂度分析插件
2201_75520614的博客
03-11 621
4.EVG（Essential VG）：表示程序中的基本节点数，是计算中剔除掉虚拟节点后的节点数量,5.IG (lnessential VG):表示程序中的非基本节点数，是计算中保留的虚拟节点数量。1.COGC（Cyclomatic complexity）：圈复杂度，是一种通过计算图中的节点、边和连接组件的数量来度量程序复杂性的指标。COGC 通常用于衡量程序中的决策点数量。3.EDGES（边的数量）：表示图中边的数量。2.VG（节点个数）：表示图中节点的数量。使用工具类减少判断代码。
【论文阅读笔记】U-Mamba: Enhancing Long-range Dependency for Biomedical Image Segmentation
寸先生的AI道路
01-18 6361
在四个不同的任务上进行了广泛的实验：CT和MR图像中的3D腹部器官分割、内窥镜图像中的器械分割以及显微镜图像中的细胞分割。将CNN的局部特征提取能力与状态空间序列模型（SSM）的长程依赖性能力相结合。U-Mamba采用了一个编码器-解码器（encoder-decoder）的网络结构，这种结构能够同时捕获局部特征和长程上下文。​ U-Mamba块的核心是结合了卷积层和SSM的混合块。本文对Mamba结构用于图像领域进行了简单的探索，就结构来说没有特别多创新，就是插入了Mamba块，但可以遇见下一个坑的到来。
U-Mamba: Enhancing Long-range Dependency for Biomedical Image Segmentation论文阅读
walk_along_wall的博客
07-01 447
然后，将形状为 (B, C, H, W, D) 的图像特征展平并转置为 (B, L, C)，其中 L = H × W × D。在第一个分支中，特征通过线性层扩展为 (B, 2L, C)，后面跟着 1D 卷积层、SiLU 激活函数，并与 SSM 层一起扩展。最后，将特征投影回原始形状 (B, L, C)，然后重塑并转置为 (B, C, H, W, D)。文章对四个不同的任务进行了广泛的实验，包括 CT 和 MR 图像中的 3D 腹部器官分割、内窥镜图像中的仪器分割以及显微镜图像中的细胞分割。
日常阅读论文——U-Mamba
winner_liuhuan的博客
08-04 1617
很抽象。卷积神经网络（CNNs）和变换器（Transformers）是生物医学图像分割中最常用的两种结构，但由于其固有的局部性和计算复杂性，这两种结构在处理长范围相关性方面的能力都很有限。为了解决这一难题，我们引入了U-Mamba，一种用于生物医学图像分割的通用网络。受状态空间序列模型（SSM）的启发，我们设计了一个混合CNN-SSM模块，该模块将卷积层的局部特征提取能力与SSM捕捉长相关性的能力相结合。此外，U-Mamba还拥有一个自配置机制，使其能够自动适应各种数据集，而无需人工干预。
Swin-UMamba：基于Mamba和ImageNet预训练的医学图像分割模型
阿木寺的博客
02-16 1301
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达最后一天特惠活动！CVer学术星球新人和续费优惠券来了！为了感谢大家的支持，限时赠送10张50元新用户优惠券(下图左边二维码)，10张20元老用户续费券(下图右边二维码)，龙年坚持分享更多更好的工作，寒假不停更！助力你的科研和工作！顺利毕业升学，升职加薪！代码&模型：https://github.com/JiarunLiu...
文献翻译（Mamba-UNet: UNet-Like Pure Visual Mamba for Medical Image Segmentation）
m0_54187478的博客
02-23 5453
在医学图像分析的最新进展中，卷积神经网络（CNN）和视觉变换器（ViT）已经设定了重要的基准。前者擅长通过卷积运算捕捉局部特征，而后者通过利用自注意机制实现了显著的全局上下文理解。然而，这两种架构在有效地建模医学图像中的长程依赖性方面都存在局限性，这是精确分割的关键方面。受Mamba架构的启发，我们提出了Mamba UNet，这是一种将医学图像分割中的U-Net与Mamba的能力协同的新架构。
[Mamba_1]U-Mamba
qq_54412311的博客
08-11 1250
卷积神经网络(Convolutional Neural Networks, cnn)和transformer是生物医学图像分割中最流行的架构，但由于固有的局部性或计算复杂性，它们处理远程依赖关系的能力有限。为了解决这一挑战，我们引入了U-Mamba，一个通用的生物医学图像分割网络。受状态空间序列模型(ssm)的启发，我们设计了一个混合CNN-SSM块，它将卷积层的局部特征提取能力与ssm捕获远程依赖的能力相结合。状态空间序列模型是一种以处理长序列的强大能力而闻名的新型深度序列模型。
推荐文章：探索生物医学图像分割的新境界 —— U-Mamba
gitblog_00368的博客
08-23 379
推荐文章：探索生物医学图像分割的新境界 —— U-Mamba U-Mamba项目地址:https://gitcode.com/gh_mirrors/um/U-Mamba 项目介绍 在深度学习的浪潮中，U-Mamba 如同其名字一样灵巧而强大，专为解决生物医学图像分割中的长距离依赖难题而生。该开源项目通过增强模型对图像中远距离信息的捕捉能力，显著提升了分割精度和效率。由一群致力于医疗影像分析的精英...
【深度学习总结】基于U-Mamba使用nnUNetv2处理BraTS挑战赛数据
qq_41234663的博客
07-24 2105
使用U-Mamba处理BraTs数据
复现U-Mamba
qq_45738122的博客
01-22 8532
一边复现一边更新吧。
Swin-UMamba—基于 Mamba 的 UNet 和基于 ImageNet 的预训练—论文精读和代码实践
Philo的博客
03-06 6688
准确的医学图像分割需要集成多尺度信息从局部特征到全局依赖性。然而，现有方法对远程全局信息进行建模具有挑战性，其中卷积神经网络（CNN）受到其局部感受野的限制，而视觉变换器（ViT）则受到其注意力机制的高二次复杂度的影响。最近，基于 Mamba 的模型因其在长序列建模方面令人印象深刻的能力而受到极大关注。多项研究表明，这些模型在各种任务中都可以优于流行的视觉模型，提供更高的准确性、更低的内存消耗和更少的计算负担。
Swin-UMamba：基于Mamba的UNet模型，结合ImageNet预训练
gitblog_01038的博客
09-10 630
Swin-UMamba：基于Mamba的UNet模型，结合ImageNet预训练 Swin-UMambaSwin-UMamba: Mamba-based UNet with ImageNet-based pretraining项目地址:https://gitcode.com/gh_mirrors/sw/Swin-UMamba 项目介绍 Swin-UMamba 是一个基于Mamba架构的UNet模...
U-Mamba：增强生物医学图像分割中的长程依赖
gitblog_09074的博客
09-13 383
U-Mamba：增强生物医学图像分割中的长程依赖 U-Mamba 项目地址: https://gitcode.com/gh_mirrors/um/U-Mamba 项目基础介...
nnUNetv2保姆级使用教程！UMamba保姆级使用教程！从环境配置到训练与推理（新手必看）
m0_55776553的博客
12-06 895
nnUNetv2保姆级使用教程！UMamba保姆级使用教程！从环境配置到训练与推理（新手必看）
Swin-UMamba和SegMamba论文解读
qq_61786525的博客
11-10 1694
分割后的 3D 图像，其中不同组织或结构被标记为不同的类别。医学图像分割，即将图像中的不同组织或器官进行区分和标记。: Swin-UMamba 的主要任务是进行。： 3D 医学图像分割。
关于Umamba和mamba-SSM输入的小笔记 （2D情况）
weixin_47426299的博客
03-02 1395
hidden_states是输入x, 在上面第一块代码里即为x_norm, x_norm的维度是 所谓（B，L, D）， 这里有符号的不同， 这里的D其实就是上面C， 即为特征厚度，或说特征通道数。L是HxW， 即把图像拉长成一维数据。训练或推理时迭代的x， 是(B, C, H ,W), B 为batch size, C是channel dim, 比如浅层或许为1， 3， 深层512, H, W 为当前图像长宽。) 里输入就用最正常的Pytorch格式就行，即 （B, C, H, W）,
Mamba-UNet: UNet-Like Pure Visual Mamba for Medical Image Segmentation
最新发布
03-31
### Mamba-UNet 架构及其在医学图像分割中的应用 Mamba-UNet 是一种基于纯视觉模型的架构设计，专为医学图像分割任务而优化。它继承了 U-Net 的经典编码器-解码器结构，并通过引入创新性的模块来提升性能和效率。 #### 1. Mamba-UNet 的核心架构特点 Mamba-UNet 结合了 Vision Transformer 和卷积神经网络的优势，在保持高效计算的同时增强了特征提取能力。其主要特性如下： - **双流特征融合机制** Mamba-UNet 利用了多尺度特征图之间的交互作用，通过跨层连接实现更深层次的信息传递[^1]。这种设计显著提升了模型对复杂边界区域的理解能力。 - **轻量化注意力模块** 在传统 U-Net 基础上，Mamba-UNet 集成了高效的自注意力机制，用于捕捉全局上下文信息。这使得模型能够更好地处理具有较大形变的目标对象。 - **渐进式下采样策略** 不同于标准 U-Net 中固定的池化操作，Mamba-UNet 使用了一种动态调整步幅的方法来进行逐级降维。这种方法可以减少不必要的细节损失并保留更多语义信息。 #### 2. 应用场景与优势分析 Mamba-UNet 主要应用于医疗领域内的高精度图像分割任务，例如肿瘤检测、器官轮廓描绘以及细胞分类等。以下是该方法的一些具体应用场景及对应优点： - **脑部 MRI 图像分割** 对于大脑组织切片数据集而言，由于不同灰质白质区域之间存在模糊过渡带，因此需要极高分辨率才能区分细微差异。Mamba-UNet 凭借强大的局部感知能力和长距离依赖建模功能成功解决了这一难题。 - **肺结节 CT 扫描识别** 肺部影像通常伴有大量噪声干扰项，这对任何算法都构成了严峻挑战。然而借助精心设计的空间金字塔池化单元，再加上残差学习路径的支持，最终实现了稳健可靠的预测效果。 ```python import torch from torchvision import models class MambaUNet(torch.nn.Module): def __init__(self, num_classes=1): super(MambaUNet, self).__init__() # Encoder layers with progressive downsampling strategy self.encoder = [ torch.nn.Conv2d(3, 64, kernel_size=3, stride=1, padding=1), ... ] # Decoder layers incorporating lightweight attention modules self.decoder = [ torch.nn.ConvTranspose2d(128, 64, kernel_size=2, stride=2), ... ] self.final_conv = torch.nn.Conv2d(64, num_classes, kernel_size=1) def forward(self, x): skip_connections = [] for layer in self.encoder: x = layer(x) skip_connections.append(x) for i, layer in enumerate(self.decoder): x = layer(x) x += skip_connections[-i-1] output = self.final_conv(x) return output ``` 上述代码片段展示了如何构建一个简化版的 Mamba-UNet 模型框架。实际部署过程中可能还需要进一步调优参数配置以适应特定需求环境下的表现指标要求。 #### 总结 综上所述，Mamba-UNet 提供了一个灵活且有效的解决方案来应对现代医学成像技术所带来的各种新问题。凭借独特的体系结构改进措施，不仅提高了整体运行速度还兼顾到了准确性方面的要求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值