寸先生的AI道路

论文提出 3D 医学图像分割Mamba模型，与基于 Transformer 的方法相比，SegMamba 在状态空间模型的整个体积特征建模方面表现出色，体积特征的分辨率为 64×64×64。在BraTS2023数据集上进行验证。图片已经画得很清楚，都是基本块组成，只是将transformer块中的CNN换成了mamba块。在BraTS2023 数据集实验效果。

提出了一种新型的用于医学图像分割的深度学习模型MOSformer。它主要通过双编码器设计和动量更新方法来提高2.5D医学图像分割模型的性能，其中一个编码器使用动量更新保持切片表示的一致性。此外，它还引入了一种名为IF-Swin的变换器模块，通过在切片维度扩展窗口自注意力机制，实现多尺度特征图之间的有效融合。

本文的创新之处在于构建了改进的增强型transformer 模块，这些模块结合了标准transformer 块中的增强短路（Augmented Shortcuts），被策略性地放置在分割网络的瓶颈处，以保持特征多样性并增强特征交互和多样性。Kra 和 Simanca, 2012）在傅里叶域上通过快速傅里叶变换（FFT）的效率和有效性的启发，循环矩阵和向量之间的乘积带来了较小的计算复杂度。这样的设计允许网络在每一层中捕获和融合更加丰富和多样化的特征，有助于提高模型的性能和鲁棒性。扮演循环矩阵的角色，

在四个不同的任务上进行了广泛的实验：CT和MR图像中的3D腹部器官分割、内窥镜图像中的器械分割以及显微镜图像中的细胞分割。将CNN的局部特征提取能力与状态空间序列模型（SSM）的长程依赖性能力相结合。U-Mamba采用了一个编码器-解码器（encoder-decoder）的网络结构，这种结构能够同时捕获局部特征和长程上下文。​ U-Mamba块的核心是结合了卷积层和SSM的混合块。本文对Mamba结构用于图像领域进行了简单的探索，就结构来说没有特别多创新，就是插入了Mamba块，但可以遇见下一个坑的到来。

与传统的逐层处理不同，SAM3D能够在整个体积上处理图像，更有效地捕捉切片间的深度关系，同时维持模型的简单性和计算效率。：通过在多个医学图像数据集上的实验，只需要单2080TI GPU，SAM3D显示了与当前最先进的3D神经网络和基于Transformer的模型相当的性能（其实弱很多），同时在参数数量上大大减少。去除了SAM中的prompts Encoder：因为解码器必须处理 3D 体积数据，所以不能使用 SAM 的掩模解码器，它是专门为 2D 自然图像设计的。

4篇应用解耦表示学习的文章，这里只关注如何解耦，更多细节不关注，简单记录一下。

门控融合技术：用于将这些解耦后的特征有效地结合起来，形成一个统一的特征表示，用于后续的肿瘤分割任务。在缺失模态场景下，如果不仔细考虑，融合表示会受到来自空输入通道的噪声信息的影响，那么模型的性能将不可避免地下降。具体来说，将来自每个模态的解耦的内容编码连接起来，然后输入到输出通道为M的卷积层。这种方法增强了面对缺失数据时分割过程的鲁棒性，并在多种缺失模态的场景中显示出显著的改进。特征解耦部分：负责将不同成像模态（如MRI）的数据分解为模态特定的外观特征和跨模态的内容特征。方法是将输入的多种成像模态解耦为。

此外，提出了一种区域感知的对比学习方法，以进一步引导网络学习与目标区域相关的特征表征，从而提高分割精度。为了解决这个问题，作者提出了将学到的特征表示分解为与目标肿瘤区域相对应的多个因子，使网络能够提取对分割任务更有意义的特征。总体来说，2.1节强调了解耦表征学习在提高特征表示效果和可解释性方面的重要性，并展示了它在处理复杂的医学图像数据，尤其是脑肿瘤分割方面的潜力。：在实现上，作者采用了一种对比损失函数，这种损失函数鼓励模型产生的特征表征在相似区域内紧密，而在不同的区域间相隔较远。

这种方法基于预训练的神经网络，通过插入可学习的提示令牌（prompt tokens）来适应新的下游任务，例如在语义分割中识别新的类别。实验结果表明，这种提示调整方法在医学图像分割任务中，即使在标注数据稀缺的情况下，也能达到令人满意的性能，同时大大减少了所需调整的参数数量。：PUNet的设计允许网络通过非冻结的（可学习的）提示令牌进行适应，这对于医学成像数据的分割任务来说是足够的。：在PUNet中，提示令牌被深入地插入到网络中，这允许对编码的图像内容在网络的不同层次上进行调整。

这一节还讨论了SAM在医学图像分割中的应用，包括评估其在不同成像方式下的零样本性能和探索适应医学图像分割的方法。例如，MedLSAM模型采用了基于少量样本的定位过程，通过识别3D医学图像中的感兴趣解剖结构的3D边界框，进而从3D框中导出2D框，指导SAM自动分割目标解剖结构。这部分的核心思想是，鉴于SAM对输入提示的高度敏感，通过不确定性的评估和处理，可以更可靠地预测分割结果，尤其是在医学成像这一领域，分割的准确性在临床程序中极为重要。这些模型在各种任务中的成功引起了广泛的兴趣和适应，包括医学图像分析。

两篇完整模态脑瘤分割论文，都是使用Transformer，没有什么特别的特色，也没有开源代码，因此只是简单记录一下。

本文的核心思想是提出一种名为“共享-特定特征建模（ShaSpec）”的方法，用于处理多模态学习中的缺失模态问题。该方法在训练和评估期间利用所有可用的输入模态，通过**学习共享和特定的特征**来更好地表示输入数据。这是通过**基于分布对齐和领域分类的辅助任务**以及**残差特征融合**过程来实现的。ShaSpec的设计简单，易于适应多种任务，如分类和分割。实验结果表明，ShaSpec在医学图像分割和计算机视觉分类方面的表现优于竞争方法。例如，在BraTS2018数据集上，ShaSpec在增强肿瘤、肿瘤核心和整

这篇文献综述重点探讨了在磁共振成像（MRI）用于脑肿瘤分割时面临的一项主要挑战：部分MRI模态的缺失（本文将范围限定为**在训练期间可以使用完整的 MR 模式，而在测试期间可以缺少一种或多种模式**）。文中详细分析了各种先进的分割技术，如基于图像合成、潜在特征空间、多源相关性、知识蒸馏和域适应等方法，这些方法旨在克服在实际临床场景中常见的模态缺失问题。综述不仅比较了这些方法的原理、优缺点和适用性，还讨论了用于评估这些技术的不同数据集和评估指标。文章最后强调了在缺失模态下脑肿瘤分割领域的未来研究方向，突出了开

SAM类医学图像分割选读概述

本文思路借鉴于自然图像分割领域的**SAM**，介绍了一种名为SegVol的先进医学图像分割模型，旨在构建一种**图像分割基础模型**，这是一个面向体积医学图像分割的通用和交互式模型。SegVol的设计目的是通过处理各种解剖类别来提高医学图像分割的准确性和效率。该模型通过在9万个未标记的计算机断层扫描（**CT**）体积和6千个标记的CT体积上进行训练，能够支持超过**200个解剖类别的分割**，**模型利用语义和空间prompts来实现**。SegVol通过使用轻量级架构实现高效率，采用**“缩小-放大”