【论文阅读笔记】MMMViT: Multiscale multimodal vision transformer for brain tumor segmentation with missing m

Qiu C, Song Y, Liu Y, et al. MMMViT: Multiscale multimodal vision transformer for brain tumor segmentation with missing modalities[J]. Biomedical Signal Processing and Control, 2024, 90: 105827.【代码开源】

【论文概述】

本文介绍了一种名为多尺度多模态视觉变换器（MMMViT）的新方法，用于解决脑肿瘤分割中缺失模态的问题。MMMViT 利用跨模态之间的相关性，将直接融合可用模态特定特征到共享潜在空间的过程分解为两个简单步骤，以降低学习共享潜在表示的难度。此外，该方法通过卷积编码器为每种模态提取的局部多尺度特征，输入到模态内部的变换器块中，从而隐式捕获全局多尺度特征，以适应不同大小的脑肿瘤。MMMViT 在 BraTS 2018 数据集上的验证结果表明，该方法不仅在大多数输入案例中优于现有的 mmFormer 方法，而且还提高了采用所有模态输入的变换器相关脑肿瘤分割方法的 Dice 相似系数（DSC）准确率。

【Introduction部分概述】

在本文的引言部分中，作者讨论了解决脑肿瘤分割中缺失模态问题的几种方法，具体包括利用生成模型合成缺失模态和学习共享的潜在空间表示。以下是这些方法的总结，包括每种方法的优缺点：

• 利用生成模型合成缺失模态：

  • 优点：可以从可用的模态中合成缺失的模态，使得可以使用所有模态进行分割。

  • 缺点：增加了额外的计算成本和人工中间步骤，且分割准确性极大地依赖于合成模态的质量。

• 学