【论文阅读笔记】Multimodal Transformer of Incomplete MRI Data for Brain Tumor Segmentation-优快云博客

本文链接：https://blog.youkuaiyun.com/cskywit/article/details/134704230

Ting H, Liu M. Multimodal Transformer of Incomplete MRI Data for Brain Tumor Segmentation[J]. IEEE Journal of Biomedical and Health Informatics, 2023. 【代码开源】

论文概述

本文提出了一种基于多模态Transformer网络的不完全多模态MRI数据的脑肿瘤分割方法。该网络基于U-Net体系结构，由模态专用编码器、多模态Transformer和多模态共享权重解码器组成。首先，构建一个卷积编码器来提取每个模态的具体特征。然后，提出一种多模态Transformer来建模多模态特征的相关性，并学习缺失模态的特征。最后，提出一种多模态共享权重解码器，将多模态和多级特征与空间和通道自注意模块逐步聚合，用于脑肿瘤分割。

网络结构

Modality specific feature learning

这一步类似MMFormer，每个模态单独编码，然后使用类似dropout机制随机丢弃一些模态来模拟缺失模态。网上有很多关于MMFormer的解读，不再赘述。与MMFormer不同在于，在每个模态的每个特征提取层级都进行了特征拼接和dropout。具体如下：文中定义 $S P_{m, k}$ 为编码器从第 $m$ 个模态中提取的第 $k$ 个级别特征，其中 $\in\{1,2,3,4\}$ ,对应MRI中的四个模态 $\{\text { Flair }, T 1, T 2, T 1 c\}$ ,进行对应特征拼接后得到四种模态在各个层级的特征拼接： $P_{k}=\left[S P_{1, k}, S P_{2, k}, S P_{3, k}, S P_{4, k}\right]$ ，然后进行dropout： $P_{k}=\delta \odot S P_{k}$ 。
Multimodal transformer：多种MRI模式的强度分布和潜在特征具有很强的相关性。因此，本文利用现有模式的latent特征加权组合来近似缺失模式的latent特征。该多模态transformer由卷积层、缺失编码层、基于自注意的transformer层和缺失-完全互补学习策略组成。

使用上一步中提到的 $SP_4$ 进行初始化 $P_{k}^{\prime}=\operatorname{Conv}\left\{\delta \odot S P_{4}\right\}$ ，使用dropout随机产生缺失模态后过卷积。本文使用一种类似原始transformer中位置编码的模式来进行缺失模态指示编码missing coding: $\begin{aligned} \mathrm{E}_{M C}(\gamma, 2 i) & =\sin \left(\gamma / 1000^{2 i / d}\right) \\ \mathrm{E}_{M C}(\gamma, 2 i+1) & =\cos \left(\gamma / 1000^{2 i / d}\right) \end{aligned}$

将缺失模态指示编码(类似于原始transfomer位置彪马)与 $P_{k}^{\prime}$ 叠加作为多模态transfomer输入 $P_{k}^{\prime}=S P_{k}^{\prime}+\mathbf{E}_{M C}$ ，这一步有点巧妙。

为了从完整模态中更准确地学习缺失模态的特征，提出了缺失-完全互补学习策略，该策略由两个对称的网络流组成，用于完整模式和缺失模式的脑肿瘤分割，使用MSE损失引导缺失模态分支的分割预测接近完整模态。

Multimodal decoder：多模态共享权解码器采用对称结构设计，具有反卷积和跳跃连接，逐步结合编码器和transfomer的多模态和多层特征，在原始图像空间中生成分割mask。考虑到计算成本，经过多模态transformer的特征只是 $SP_4$ 。训练过程中使用MSE损失，用全模态分支监督缺失模态分支。
数据集和硬件

BraTS2018,2019,2020，RTX 3090*1
性能比较：文中针对三个数据集分别对比了不同的算法，这里只列出一个表，感兴趣请查看原文。
方法局限性

虽然多模态transfomer可以在一定程度上补偿缺失的特征，但分割性能仍然受到可用模态信息的影响。此外，网络使用完整的模态数据进行训练，以学习缺失模态的特征。在医院的真实不完全数据集中，可以选择具有完全模态的数据集子集进行训练，而选择具有完全模式的数据集子集进行测试。