读论文《ACN: Adversarial Co-training Network for Brain Tumor Segmentation with Missing Modalities》

论文题目;基于缺失模式的脑肿瘤分割的对抗性协同训练网络

论文地址：2106.14591 (arxiv.org)

项目地址：GitHub - Wangyixinxin/ACN

论文提出了一种新颖的对抗性协同训练网络（Adversarial Co-training Network, ACN），用于处理医学图像分割中缺失模态的问题。

1. 问题背景：

   • 准确分割脑肿瘤对于临床诊断、预后和手术治疗至关重要，通常需要多种模态的MRI图像来提供互补的形态和生理病理信息。
   • 然而，在临床实践中，由于图像损坏、伪影、不同的采集协议或对某些造影剂的过敏等问题，常常会出现缺失模态的情况。

2. 方法概述：

   • 传统的统一模型在所有缺失情况下表现不佳，特别是当多个模态缺失时。
   • ACN提出了一系列独立但相关的模型，分别针对每种缺失情况进行训练，以获得更好的结果。

3. ACN架构：
    

   

   包括多个多模态路径、一个单模态路径和三个模块:(a)一个相对熵学习模块(EnA);(b)一个相对熵学习模块(KnA);(c)一个模态-互信息知识传递模块(MMI)。

   • ACN包含两个学习路径：多模态路径和单模态路径，它们负责从完整模态和可用的不完整模态中提取特征。
   • 这两个路径共享相同的U-Net架构，并独立且同时进行训练。

4. 协同训练方法：

   • 通过设计一致性损失项，使得两个路径的输出分布之间的Kullback-Leibler散度最小化，以此促进两个路径之间的学习。

5. 对抗性学习模块：

   • 熵对抗学习模块（Entropy Adversarial Learning, EnA）：使用熵图作为置信度的度量，使得单模态路径的熵分布更接近多模态路径。
   • 知识对抗学习模块（Knowledge Adversarial Learning, KnA）：鼓励两个路径的高层特征分布对齐，使用另一个鉴别器来促使单模态路径学习到丰富和“缺失”的知识。

6. 模态互信息知识转移学习：

   • 通过变分信息最大化来恢复不同特征层次上的“缺失”知识，保留模态间的高互信息。

7. 整体损失和训练过程：

   • 整体损失函数结合了多模态和单模态的Dice损失、一致性损失、熵对抗损失、知识对抗损失和模态互信息损失。

     

   • 使用时间依赖的高斯加权函数和一系列权衡参数来平衡不同损失项的重要性。

8. 实验设置：

   • 使用BraTS2018数据集进行实验，该数据集包含285个多对比度MRI扫描。
   • 实验在Pytorch框架下实现，并使用NVIDIA Tesla V100 GPU进行训练。

9. 结果与分析：

   • ACN在所有可能的缺失模态组合下，与现有的最先进方法相比，都显示出显著的性能提升。
   • 特别是在只有一种或两种模态可用的情况下，ACN的性能提升尤为明显。

     

10. 结论：

    • ACN通过两个无监督对抗性学习模块对齐完整模态和缺失模态的领域和特征分布，并通过模态互信息模块恢复“缺失”的知识。
    • 该方法在多模态BraTS2018数据集上的所有缺失情况下都取得了显著的性能提升。