【论文阅读笔记】Multimodal Transformer of Incomplete MRI Data for Brain Tumor Segmentation

Ting H, Liu M. Multimodal Transformer of Incomplete MRI Data for Brain Tumor Segmentation[J]. IEEE Journal of Biomedical and Health Informatics, 2023. 【代码开源】

论文概述

本文提出了一种基于多模态Transformer网络的不完全多模态MRI数据的脑肿瘤分割方法。该网络基于U-Net体系结构，由模态专用编码器、多模态Transformer和多模态共享权重解码器组成。首先，构建一个卷积编码器来提取每个模态的具体特征。然后，提出一种多模态Transformer来建模多模态特征的相关性，并学习缺失模态的特征。最后，提出一种多模态共享权重解码器，将多模态和多级特征与空间和通道自注意模块逐步聚合，用于脑肿瘤分割。

网络结构

• Modality specific feature learning

  这一步类似MMFormer，每个模态单独编码，然后使用类似dropout机制随机丢弃一些模态来模拟缺失模态。网上有很多关于MMFormer的解读，不再赘述。与MMFormer不同在于，在每个模态的每个特征提取层级都进行了特征拼接和dropout。具体如下：文中定义$S{P}_{m,k}$为编码器从第$m$个模态中提取的第$k$个级别特征，其中 m ∈ { 1 , 2 , 3 , 4 } m \in\{1,2,3,4\} m∈{ 1,2,3,4},对应MRI中的四个模态 {  Flair  , T 1 , T 2 , T 1 c } \{\text { Flair }, T 1, T 2, T 1 c\} {  Flair ,T1,T2,T1c},进行对应特征拼接后得到四种模态在各个层级的特征拼接：$S{P}_k=$