经典跨模态医学图像分割论文分享 DN GM-Guided-DG

最新推荐文章于 2024-09-29 19:19:12 发布

原创最新推荐文章于 2024-09-29 19:19:12 发布 · 2.1k 阅读

29 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #神经网络 #计算机视觉

经典跨模态医学图像分割论文分享 DN GM-Guided-DG

1、背景介绍

跨模态医学图像分割是医学图像分析领域中的一个重要研究方向，主要针对在不同成像模态（如CT、MRI、PET等）下对医学图像进行自动分割的问题。不同的医学成像技术提供了不同的组织或病变信息，由于这些成像技术各自的优缺点，医疗诊断通常需要结合多种模态的图像进行综合分析。

跨模态图像分割存在着模态间差异，标注数据的稀缺，数据分布不一致等挑战，研究人员提出了多种技术和方法，以推动该领域的发展。这些技术不仅提升了模型的鲁棒性和泛化能力，也为实际临床应用提供了重要支撑。下面给大家介绍两篇思路新颖的论文，帮助大家结合论文想出新的创新点。

2、论文分享

2.1 DN

Generalizable Cross-modality Medical Image Segmentation via Style Augmentation and Dual Normalization

2.1.1 论文地址

论文地址：https://arxiv.org/abs/2112.11177

模型地址：https://github.com/zzzqzhou/Dual-Normalization

2.1.2 创新点

风格增强：为了模拟在未见目标域中可能出现的外观变化，作者首先利用Bezie曲线的非线性变换来增强源数据，生成了源相似和源不相似的两种不同风格的图像图像。

**双归一化模型：**提出了一个基于双归一化的模型，使用共享的骨干网络但独立的批归一化层来进行单独归一化，即源相似和源不相似图片使用两种不同的归一化参数。对目标数据进行分类，使用分类结果的归一化参数对目标数据进行处理

2.1.3 方法介绍

在这里插入图片描述

输入图像的预处理

首先，输入到模型的医学图像可以来自不同的模态（如CT、MRI等）。为了减小不同模态之间的视觉差异，模型通过基本的预处理步骤，如归一化、尺寸调整等，确保图像数据在输入到网络之前处于一致的格式。

风格增强（Style Augmentation）

为了增强模型对模态间差异的鲁棒性，论文提出了风格增强技术。在训练过程中，对输入图像进行动态的风格转换，如改变图像的亮度、对比度、噪声水平等。这些风格转换模拟了不同模态之间的视觉特征差异，迫使模型在训练过程中学习到模态不变的特征。通过风格增强，模型能够更好地适应和处理不同模态的图像，从而在测试时对新模态的图像仍能保持良好的分割性能。

双归一化（Dual Normalization）

模型内部采用了双归一化技术，即模态不变归一化（Modality-invariant Normalization）和模态相关归一化（Modality-specific Normalization）。这两种归一化方式分别处理不同类型的特征：

模态不变归一化：针对模态间共享的特征（如结构信息），使用一种归一化方法，使得这些特征在不同模态之间保持一致。
模态相关归一化：针对模态特有的特征（如纹理、对比度），使用另一种归一化方法，允许这些特征保留模态的独特性。

通过双归一化，模型能够在保留模态间共性特征的同时，适应模态特有的细节，从而在跨模态的图像分割任务中取得更好的性能。

特征提取与解码

经过风格增强和双归一化处理后的图像数据，被输入到深度卷积神经网络中进行特征提取。网络中的编码器部分负责提取多层次的特征表示，包括低级特征（如边缘、纹理）和高级特征（如结构、形状）。

在解码器部分，这些特征通过上采样和特征融合的操作，被逐步还原成与原始图像分辨率一致的特征图。这一过程的目标是生成与输入图像对应的分割掩码，即每个像素点属于的类别。

输出分割结果

最终，解码器输出的特征图通过一个分类层，将每个像素点归类为对应的解剖结构或病变区域。输出的结果是一个分割掩码，标识出输入图像中的各个感兴趣区域。

模型训练与优化

模型的训练过程中，采用了监督学习的方法，通过与人工标注的分割掩码进行比较，计算损失函数，并使用梯度下降法来优化模型的参数。模型的优化目标是最小化训练集上的损失，从而在测试集或新模态图像上获得良好的分割性能。

模型的泛化能力

由于引入了风格增强和双归一化技术，模型能够在不同模态的医学图像上表现出良好的泛化能力。这意味着模型不仅能在训练模态上达到高精度的分割效果，还能有效应对未见过的模态，在临床应用中具有更广泛的适用性。

2.1.4 代码复现

**数据集介绍：**BraTS（Brain Tumor Segmentation）数据集是用于脑肿瘤分割任务的标准数据集之一。它是由一系列脑肿瘤分割挑战组织方发布的，用于评估不同算法在脑肿瘤分割任务中的表现，特别是在多模态磁共振成像（MRI）数据上的分割效果。BraTS数据集主要包含多模态MRI脑扫描图像，这些图像来自不同的患者，并且覆盖了各种类型的脑肿瘤，尤其是胶质瘤（Gliomas）。胶质瘤是最常见且侵袭性较高的原发性脑肿瘤之一，分为低级别胶质瘤（LGG）和高级别胶质瘤（HGG）。

每个患者的数据通常包含以下四种MRI模态：

T1加权成像（T1-weighted, T1）：提供脑部结构的高分辨率信息。
T1对比增强成像（T1-contrast enhanced, T1c）：突出显示病变区域（如肿瘤）在增强剂（如钆剂）注射后的图像。
T2加权成像（T2-weighted, T2）：用于显示脑部组织中液体的分布，特别是脑水肿的区域。
FLAIR（Fluid Attenuated Inversion Recovery）：用于抑制液体信号，从而突出显示病变区域，尤其是周围的水肿和坏死区域。

采用BraTS数据集，从T1模态泛化到其他三种模态得到的实验结果如下所示：

在这里插入图片描述

2.1.5 论文总结

**优点：**1、跨模态泛化能力强，通过引入样式增强（Style Augmentation）和双重归一化（Dual Normalization）策略，该方法能够有效提升模型在不同模态医学图像中的泛化能力。这在多模态医学图像分割任务中尤为重要，因为各模态间的图像特性差异较大。2、样式增强策略：通过样式增强，该方法可以在训练阶段模拟不同模态之间的图像特征差异，增强模型对未见模态的适应能力。这种增强策略有效地减少了对大量标注数据的依赖。

**不足：**1、依赖于样式的多样性：样式增强的效果依赖于训练时所引入的样式多样性，如果样式选择不够全面，可能会限制模型的泛化效果。2、对模型架构的依赖：双重归一化策略对模型架构有一定依赖性，不同的模型架构可能需要针对性的调整，限制了该方法的通用性。

2.2 GM-Guided-DG

Gradient-Map-Guided Adaptive Domain Generalization for Cross Modality MRI Segmentation

2.2.1 论文地址

论文地址：https://arxiv.org/abs/2311.09737

代码地址：https://github.com/cuttle-fish-my/GM-Guided-DG

2.2.2 创新点

**图像梯度图引导：**作者认为对于不同模态的图像，其梯度大体是一致的，所以利用图像梯度图来指导跨模态MRI分割，这是一种无需学习的跨域表示方法，以梯度映射作为模态不变的输入表示，用以减少不同模态之间的差异，并且结构信息也得到了保存。

在这里插入图片描述

**自适应域泛化框架：**提出了一个新颖的自适应域泛化框架，该框架结合了基于图像梯度图的无学习跨域表示和一个类先验通知的测试时适应策略，以减轻局部域偏移。

2.2.3 方法介绍

在这里插入图片描述

1、输入阶段：输入是多模态的MRI图像，包括不同成像条件下的MRI数据。这些数据可能具有不同的特性，比如T1加权图像、T2加权图像等。

2、梯度映射生成：首先，为每个输入的MRI图像生成对应的梯度映射（Gradient Map）。梯度映射是通过计算图像的梯度信息获得的，它可以突出显示图像中的边缘和重要结构。这一步的目的是增强图像中的特征，使模型能够更好地捕捉到不同模态间的变化。

3、域自适应模块：接着，使用一个域自适应模块。该模块会根据生成的梯度映射，自适应地调整不同模态之间的特征分布。这个模块的目的是在保持重要结构信息的同时，使得模型能够更好地泛化到未见过的MRI模态上。

4、分割网络：调整后的特征被输入到一个分割网络中，该网络用于生成最终的分割结果。分割网络根据输入的特征，对图像中的不同区域进行分类，从而得到每个像素所属的组织类别。

5、输出阶段：输出是分割后的MRI图像，其中每个像素点都被分配了一个标签，表示它属于某种特定的组织或结构。

2.2.4 论文复现

每个患者的数据通常包含以下四种MRI模态：

T1加权成像（T1-weighted, T1）：提供脑部结构的高分辨率信息。
T1对比增强成像（T1-contrast enhanced, T1c）：突出显示病变区域（如肿瘤）在增强剂（如钆剂）注射后的图像。
T2加权成像（T2-weighted, T2）：用于显示脑部组织中液体的分布，特别是脑水肿的区域。
FLAIR（Fluid Attenuated Inversion Recovery）：用于抑制液体信号，从而突出显示病变区域，尤其是周围的水肿和坏死区域。

采用BraTS数据集，从T2模态泛化到T1模态得到的实验结果如下所示：

在这里插入图片描述

2.2.5 论文总结

**优点：**1、增强特征表达，通过梯度映射（Gradient Map）的引入，方法能够更好地捕捉和增强MRI图像中的边缘和重要结构信息。这有助于提高分割模型对不同模态的适应能力，使得模型在跨模态任务中表现更好。2、减少标注依赖，由于方法具有较强的泛化能力，减少了对大规模标注数据的依赖，在实际应用中更为实用，特别是在标注成本较高的医学图像领域。

**不足：**1、计算复杂度高，该方法涉及到梯度映射的生成和域自适应模块的使用，这会增加计算的复杂度和时间成本，特别是在处理大规模3D MRI数据时，可能导致推理速度变慢。2、依赖梯度质量：方法依赖于梯度映射的质量。如果梯度映射生成得不够准确，或者在某些模态下梯度信息不够明显，可能会影响后续分割效果。