winner_liuhuan的博客

UNet及其变体已成功地应用于医学图像分割中，并取得了较好的效果.然而，这些模型，尤其是基于Transformer架构的模型，由于其大量参数和计算负载而带来了挑战，使得它们不适合移动的健康应用。最近，以Mamba为代表的状态空间模型（SSM）已经成为CNN和Transformer架构的竞争性替代方案。在此基础上，我们在UNet中使用了Mamba作为CNN和Transformer的轻量级替代品，旨在解决真实的医疗环境中计算资源限制所带来的挑战。

Mamba是一种新兴的深度学习架构，由于其强大的建模能力和计算效率，它在语言生成、图像分类、推荐和药物发现等不同领域取得了显著的成功。最近，已经做出了越来越多的努力来开发具有更强大的表示学习能力和更低的计算复杂度的基于曼巴的深层学习模型。鉴于曼巴的迅速发展，迫切需要有一个系统的概述。为了弥合这一差距，在本文中，我们提供了一个全面的审查Mamba，重点是其架构的进步，数据的适应性和应用领域，提供研究人员既深入了解和Mamba的最新发展的概述。

深度学习作为一项重要技术，引发了人工智能（AI）领域的一场重大革命，导致人类生活方式发生了巨大变化。作为最具代表性的架构，Transformers为众多高级模型提供了支持，尤其是包含数十亿参数的大型语言模型（LLM），成为深度学习的基石。尽管取得了令人印象深刻的成就，变形金刚仍然面临着固有的局限性，特别是由于注意力计算的二次计算复杂性而导致的耗时推理。

在医学图像分割领域，基于神经网络和基于变换器的模型都得到了广泛的研究。然而，神经网络在长距离建模能力方面表现出局限性，而变形金刚则受到其二次计算复杂度的阻碍。近年来，以Mamba为代表的状态空间模型（SSM）已成为一种有前途的方法。它们不仅在模拟长距离相互作用方面表现出色，而且保持了线性计算复杂度。

很抽象。卷积神经网络（CNNs）和变换器（Transformers）是生物医学图像分割中最常用的两种结构，但由于其固有的局部性和计算复杂性，这两种结构在处理长范围相关性方面的能力都很有限。为了解决这一难题，我们引入了U-Mamba，一种用于生物医学图像分割的通用网络。受状态空间序列模型（SSM）的启发，我们设计了一个混合CNN-SSM模块，该模块将卷积层的局部特征提取能力与SSM捕捉长相关性的能力相结合。此外，U-Mamba还拥有一个自配置机制，使其能够自动适应各种数据集，而无需人工干预。

RNN的线性复杂度主要来自于其在每个时间步使用固定数量的参数，并且每个时间步的计算独立于其他时间步。这使得RNN在处理序列数据时，其计算量随着序列长度线性增长，而不是像某些其他模型那样可能随着序列长度呈平方增长。这种线性复杂度使得RNN在处理长序列时相对高效，尤其是在推理阶段。