【论文阅读笔记】Scratch Each Other‘s Back: Incomplete Multi-Modal Brain Tumor Segmentation via Category Awar

Qiu Y, Chen D, Yao H, et al. Scratch Each Other’s Back: Incomplete Multi-Modal Brain Tumor Segmentation via Category Aware Group Self-Support Learning[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2023: 21317-21326. 【开放源码】

文章简要概述

本文提出了一种名为“类别感知群体自我支持学习”（Category Aware Group Self-Support Learning, GSS）的框架，旨在改善不完整多模态脑肿瘤分割的性能。GSS框架通过在每个预测类别中形成基于模态敏感性的自我支持群体，并选择最敏感的预测作为群体领导者，从而实现模态间的有效知识蒸馏。此外，文章还引入了随机遮罩策略来提高模型在训练过程中的鲁棒性。通过在BraTS数据集上的实验，GSS框架显示出了显著的性能提升，特别是在处理缺失模态的情况下。

一.核心观点和创新点包括：

1. 多模态互补性的利用：文章指出，现有的多模态脑肿瘤分割方法通常将不同模态视为独立且不相互干扰的，但实际上这些模态是互补的。因此，本文提出了一种新的框架，以更好地利用这种互补性。
2. 类别感知的群体自我支持学习（GSS）框架：这是本文的主要创新点。GSS框架旨在弥补不同模态在单独模态特征提取阶段的信息不足。在每个预测类别中，所有模态的预测形成一个群体，其中最敏感的预测被选为群体领导。这种协作机制有助于确定具有高一致性和确定性的共同学习目标。
3. 随机遮罩策略：为了减少可能的偏差，文章引入了一种随机遮罩策略。
4. 广泛的实验验证：文章