【论文阅读笔记】Scratch Each Other‘s Back: Incomplete Multi-Modal Brain Tumor Segmentation via Category Awar

Qiu Y, Chen D, Yao H, et al. Scratch Each Other’s Back: Incomplete Multi-Modal Brain Tumor Segmentation via Category Aware Group Self-Support Learning[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2023: 21317-21326. 【开放源码】

文章简要概述

本文提出了一种名为“类别感知群体自我支持学习”（Category Aware Group Self-Support Learning, GSS）的框架，旨在改善不完整多模态脑肿瘤分割的性能。GSS框架通过在每个预测类别中形成基于模态敏感性的自我支持群体，并选择最敏感的预测作为群体领导者，从而实现模态间的有效知识蒸馏。此外，文章还引入了随机遮罩策略来提高模型在训练过程中的鲁棒性。通过在BraTS数据集上的实验，GSS框架显示出了显著的性能提升，特别是在处理缺失模态的情况下。

一.核心观点和创新点包括：

1. 多模态互补性的利用：文章指出，现有的多模态脑肿瘤分割方法通常将不同模态视为独立且不相互干扰的，但实际上这些模态是互补的。因此，本文提出了一种新的框架，以更好地利用这种互补性。
2. 类别感知的群体自我支持学习（GSS）框架：这是本文的主要创新点。GSS框架旨在弥补不同模态在单独模态特征提取阶段的信息不足。在每个预测类别中，所有模态的预测形成一个群体，其中最敏感的预测被选为群体领导。这种协作机制有助于确定具有高一致性和确定性的共同学习目标。
3. 随机遮罩策略：为了减少可能的偏差，文章引入了一种随机遮罩策略。
4. 广泛的实验验证：文章通过在BraTS2020、BraTS2018和BraTS2015数据集上的广泛实验，展示了GSS框架在改进现有最先进算法方面的有效性，平均Dice系数提高了1.27-3.20%。

这些创新点表明，作者提出的方法在处理不完整多模态脑肿瘤分割任务时，能够有效地利用不同模态之间的互补信息，从而提高分割性能。

二.先前相关工作的概述

1. 不完整多模态脑肿瘤分割的挑战：作者指出，现有的多模态脑肿瘤分割方法在处理缺失模态的情况时面临挑战。这些方法通常将不同模态视为独立且不相互干扰的，但实际上它们是互补的。作者提出，需要一种能够处理缺失模态问题的强大多模态方法，以适应灵活和实际的临床应用。
2. 现有方法的分类：
   • 多阶段网络方法：这类方法旨在提高网络对各个模态感兴趣特征的提取能力，这在后续的融合阶段起着关键作用。然而，这些方法主要集中在学习不变特征上，缺乏模态间的交互。
   • 基于图结构的方法：这种方法引入了更复杂的图结构，增加了计算成本，并且难以迁移到其他算法。
3. 知识蒸馏（Knowledge Distillation, KD）：知识蒸馏最初由Hinton等人提出。它是一种有效的方法，用于在模态间传递完整的模态特征信息。然而，现有的基于知识蒸馏的方法通常需要另一个更复杂的模型来传递信息，这在训练过程中需要巨大的计算努力。
4. GSS框架的提出：针对上述问题，作者提出了“类别感知群体自我支持学习”（Category Aware Group Self-Support Learning, GSS）框架。GSS框架在训练阶段实现模态间信息的互补性，而无需改变推理过程。这一框架利用多个模态的主导特性来指导模态间的知识蒸馏，而不增加初始网络的复杂性。

三.本文提出的方法

不同的模态包含不同的外观，因此对不同的肿瘤区域有不同的敏感性。特别是Flair对背景(BG)更敏感，T1c对坏死、非增强肿瘤核心(NCR/NET)和gd增强肿瘤(ET)更敏感，Flair和T2对瘤周水肿(ED)更敏感。

1. Multi-modal Self-Support Student Group：

   • 单一群体领导者：对于只有一个模态敏感的类别（如背景、坏死/非增强肿瘤核心和GD增强肿瘤），作者提出使用该模态的分割掩码作为唯一的群体领导者。其他模态作为群体成员，辅助决策。
   • 双重群体领导者：对于有多个模态敏感的类别（如水肿），作者提出了双重群体领导者的概念。在这种情况下，两个最敏感的模态被选为群体领导者。
   • 在这两种情况下，群体领导者的决策基于其对当前类别的预测概率。如果群体领导者对某个类别的预测概率高于设定的阈值，则该类别被选为最终决策。如果群体领导者不确定，其他成员的投票结果将用于辅助决策。

2. Further Enhancements：

   • 随机遮罩的目的：在某些挑战性较高的区域，模型（学生）可能无法像教师模型那样做出准确判断。这些区域在定量评估上可能较为困难。为了解决这个问题，作者引入了随机遮罩策略。

   • 随机遮罩策略：为了减少模型在训练早期阶段可能的偏差，作者引入了随机遮罩策略。这种策略通过在随机位置丢弃预测来提高模型的鲁棒性。

   • 随机遮罩的实现方式：与基于掩码的自编码器（MAE）方法不同，随机遮罩将所有预测在随机位置设置为0，以此来丢弃不准确的预测位置。这种方法不仅不会降低网络性能，还有助于提高模型的鲁棒性。

   • 随机遮罩的效果：随着训练的进行，随机遮罩能够进一步提高模型性能。当达到一定的迭代次数后，其效果会逐渐减弱，因为GSS框架能够在大多数位置选择正确的预测，但随机遮罩可能会丢弃这些预测，从而无法改善知识蒸馏效果。特别是当遮罩率达到60%时，性能会显著下降，这可能是因为过大的遮罩范围导致高置信度预测被丢弃。

   • 最佳遮罩率：实验结果表明，对于GSS框架而言，20%的遮罩率是最优的。

三、数据集和硬件

RTX 3090Ti *2

BraTs2020, BraTs2018 and BraTs2015

对比的baseline是RFNet、MMformer

四、消融研究

1. 参数调整的影响：
   • 文章中探讨了不同的超参数设置对模型性能的影响，包括罚分系数（penalties coefficients）、阈值（TL和TM），以及温度参数（$t$）。
   • 通过调整这些参数，作者评估了它们对分割性能的影响，以找到最优的参数配置。
2. 群体领导者数量的影响：
   • 实验还考察了群体领导者数量对模型性能的影响。作者根据模态对不同肿瘤区域的敏感性来调整群体领导者的数量。
3. 随机遮罩策略的影响：
   • 实验结果表明，随机遮罩策略能够进一步提高模型的性能。特别是在训练过程中，适当的遮罩率可以显著提高模型的鲁棒性和预测准确性。
4. 模型性能的整体提升：
   • 通过这些消融研究，作者证明了GSS框架在不同参数设置下均能超越基线模型，显示出其有效性和可靠性

这部分原文中图表很详细，不再赘述

五、实验结果

在RFNet、MMformer上加入本文方法