U-Mamba: Enhancing Long-range Dependency for Biomedical Image Segmentation

Abstract

卷积神经网络(Convolutional Neural Networks, cnn)和transformer是生物医学图像分割中最流行的架构，但由于固有的局部性或计算复杂性，它们处理远程依赖关系的能力有限。为了解决这一挑战，我们引入了U-Mamba，一个通用的生物医学图像分割网络。受状态空间序列模型(ssm)的启发，我们设计了一个混合CNN-SSM块，它将卷积层的局部特征提取能力与ssm捕获远程依赖的能力相结合。状态空间序列模型是一种以处理长序列的强大能力而闻名的新型深度序列模型。此外，U-Mamba具有自配置机制，允许它自动适应各种数据集，而无需人工干预。我们对四种不同的任务进行了广泛的实验，包括CT和MR图像中的三维腹部器官分割，内窥镜图像中的仪器分割和显微镜图像中的细胞分割。结果表明，U-Mamba在所有任务中都优于最先进的基于cnn和基于transformer的分割网络。这为生物医学图像分析中有效的远程依赖建模开辟了新的途径。代码、模型和数据可以在https://wanglab.ai/u-mamba.html上公开获得。

关键词:图像分割·骨干网·状态空间模型·变压器

1 Introduction

在本文中，我们提出了U-Mamba，一个通用的网络，用于三维和二维生物医学图像分割。基于创新的混合CNNSSM架构，U-Mamba可以捕获图像中的局部细粒度特征和远程依赖关系。该网络通过提供特征尺寸的线性缩放，而不是通常与变压器相关的二次复杂度，从流行的基于变压器的体系结构中脱颖而出。此外，U-Mamba的自配置功能可以无缝适应各种数据集，增强其在一系列生物医学细分任务中的可扩展性和灵活性。在四个不同的数据集上的定量和定性结果表明，U-Mamba取得了卓越的性能，大大超过了基于transformer的网络。这为未来网络设计的进步铺平了道路，有效地模拟生物医学成像中的远程依赖关系。

2 Method

U-Mamba遵循编码器-解码器网络结构，以有效的方式捕获本地特征和远程上下文。图1显示了U-Mamba区块的概况和完整的网络结构。