【论文阅读笔记】D2-Net: Dual disentanglement network for brain tumor segmentation with missing modalities

Yang Q, Guo X, Chen Z, et al. D2-Net: Dual disentanglement network for brain tumor segmentation with missing modalities[J]. IEEE Transactions on Medical Imaging, 2022, 41(10): 2953-2964. 【代码开源】

论文概述

​ 本文介绍了一种名为D2-Net（双重解耦网络）的新型网络架构，用于在缺少某些模态的情况下进行脑肿瘤分割。这个网络的核心思想是通过两个阶段的解耦来处理多模态磁共振成像（MRI）数据中的脑肿瘤分割问题，特别是在缺少某些成像模态的情况下。

1. 模态解耦阶段（MD-Stage）：在这一阶段，D2-Net使用一种名为空间频率联合模态对比学习（SFMC）的方案来解耦MRI数据中的模态特定信息。这个过程在空间和频率域中进行，旨在直接从MRI图像中分离出模态特定信息，从而使模型能够直接学习多种模态之间的关联。
2. 肿瘤区域解耦阶段（TD-Stage）：在这一阶段，网络利用一种称为亲和引导的密集肿瘤区域知识蒸馏（ADT-KD）机制来分解各种肿瘤特定知识，并获取全面的特征以用于分割。这个阶段旨在解耦肿瘤特定特征，并利用这些特征获得更好的分割结果。

方法模型

step1😗*ModalityDisentanglementStage(MD-Stage)：**MD-Stage的主要目标是解耦MRI数据中的模态特定信息，使模型能够在缺少某些模态的情况下仍然有效地进行脑肿瘤分割。

是MD-Stage的核心组成部分。SFMC通过结合空间域和频率域的对比学习，从MRI图像中直接分离出模态特定信息。这种方法考虑了MRI图像的空间特征（如形状、边缘等）和频率特征（如纹理、模式等）。使用编码器$E_T$对所有模态图像进行粗放的统一特征提取，同时针对每个模态，提供一组模态特定编码器$E_M$得到特定模态的编码。

（1）spatial modality contrastive learning:使用对比学习，将同一个模态不同的Slice视为正样本，其他为负样本，以此进行模态解耦。

• 空间对比学习：在空间域中，模型学习确保来自同一模态的代码在特征空间中彼此接近，而来自不同模态的代码则相互远离。

• 频率对比学习：考虑到频域中振幅信息保留了与模态信息相关的低阶统计量。在频率域中，模型转换模态特定代码经过离散傅里叶变换到频率谱，并进行类似的对比学习，以进一步增强模态特定信息的分离。

• **MRI重建：**解码器$D_R$输入模态相关编码$c$和全局特征$z$，重建MRI。

(2)TumorModalityTransfer:的是将原始的模态特定代码$c$转换为更适合肿瘤分割任务的肿瘤特定模态信息

$\hat{c}$。

• 肿瘤模态投影网络：然后，通过肿瘤模态投影网络（Tumor Modality Projection Network，简称$E_{TM}$），这些模态特定代码被转换为肿瘤特定的模态代码。

• 线性转换：这一转换通常涉及到一个线性变换过程，它将原始的模态特定代码映射到一个新的表示空间，该空间更适合于肿瘤分割任务。

Step2:Tumor-Region DisentanglementStage(TD-Stage):TD-Stage的目标是解耦和细化肿瘤特定特征，从而获得全面的特征，用于更准确地分割不同的肿瘤区域（如肿瘤核心、增强肿瘤、周围水肿等）。

（1）Decoding for Tumor-Region Segmentation：

解码过程：

• 输入：输入到解码过程的是TD-Stage中生成的解耦肿瘤特征。
• 解码器网络：使用一个或多个解码器网络将这些特征映射到分割图。这些解码器通常是卷积神经网络的一部分，能够逐渐上采样和细化特征，以生成高分辨率的分割图。

特征融合：

• 在解码过程中，可能会结合来自不同层次的特征，以捕获肿瘤区域的不同方面，如边缘、纹理和形状。
• 这种特征融合有助于提高分割的准确性和细节的丰富性。

输出：

• 分割图：解码过程的输出是肿瘤区域的分割图，它标识了不同的肿瘤子区域。
• 这些分割图可以用于临床诊断、治疗规划和病情监测。

（2）ADT-KD：Affinity-Guided Dense Tumor-Region Knowledge Distillation，是一种知识蒸馏方法，从教师网络（Teacher Network）向学生网络（Student Network）传递关于肿瘤区域的精确和细化的知识。

亲和引导：

• ADT-KD使用亲和引导（Affinity-Guided）的方法，这意味着蒸馏过程不仅仅基于输出的直接比较，还考虑了特征之间的相似性和关联性。这种方法有助于学生网络更有效地学习和模仿教师网络的行为。

密集蒸馏：

• “密集”指的是蒸馏过程在多个层级上发生，不仅包括最终的输出层，还包括网络内部的多个中间层。这种多层级的蒸馏有助于学生网络更全面地学习教师网络的特征表示和决策过程。

应用于肿瘤分割：

• 在肿瘤分割的上下文中，ADT-KD使得学生网络能够有效地学习如何区分不同的肿瘤区域，即使在教师网络使用的数据或模态在学生网络中不可用时也是如此。

数据和硬件

BraTS2018 Pytorch V100GPU

性能

局限性

• D2-Net采用了复杂的双重解耦策略和知识蒸馏机制，这可能导致较高的计算复杂度。在资源有限的环境中，如使用低性能的计算设备，模型的实用性可能会受限。
• 网络主要依赖T1ce模态，当该模态缺失时候，网络性能较差。