75、A2FSeg：用于医学图像分割的自适应多模态融合网络

A2FSeg：用于医学图像分割的自适应多模态融合网络

1. 引言

从医学图像扫描中提取脑肿瘤在进一步分析和临床诊断中起着重要作用。脑肿瘤通常包括瘤周水肿、增强肿瘤和非增强肿瘤核心。由于不同模态对脑肿瘤成分的显示清晰度不同，在脑肿瘤分割任务中常使用多模态图像扫描，如T1、T1c、T2和Flair。然而在实际中，同时收集所有模态的图像存在挑战，经常会有一个或多个模态缺失。

目前处理模态缺失的图像分割方法可分为三类：
1. 暴力方法 ：为每种可能的模态组合设计单独的分割网络。
2. 补全方法 ：合成缺失的模态以完成传统图像分割方法所需的所有模态。
3. 基于融合的方法 ：将不同模态的图像映射到同一特征空间进行融合，然后基于融合特征分割脑肿瘤。

其中，暴力方法分割性能好，但资源消耗大、训练时间长；补全方法的性能受缺失模态合成质量的限制；基于融合的方法通常用一个网络处理不同的模态缺失情况，在实践中最常用。

为处理各种数量的模态输入，已有多种模型被提出，如HeMIS、HVED、RobustSeg、RFNet和MFI等。但由于当前模型的复杂性，我们倾向于开发一个简单的模型，受MAML启发，提出了A2FSeg（Average and Adaptive Fusion Segmentation network），它有两个融合步骤，即平均融合和基于注意力机制的自适应融合，用于整合不同模态的特征进行分割。该模型在BraTS2020数据集上的不完全多模态脑肿瘤图像分割任务中取得了最先进的性能。

我们的贡献如下：
-