【论文阅读笔记】Cross-modality Guidance-aided Multi-modal Learning with Dual Attention for MRI Brain Tumo

arxiv Jan,17,2024

【核心思想】

核心思想是提高MRI脑肿瘤分级的准确性。该研究提出了一种结合多模态学习、跨模态引导模块和双重注意力机制的新方法。这种方法有效利用不同MRI模态的互补信息，平衡模型效率和效果。双重注意力机制关注空间和切片维度，捕捉相关的语义关联。在BraTS2018和BraTS2019数据集上，该方法展现出优越性能，超越了单模态方法和多种最新的多模态方法，实现了高准确性和鲁棒性的脑肿瘤分级。

主要贡献如下：

1. 通过初步实验，作者发现不同模态编码的诊断信息差异很大，通用的模态融合策略不够鲁棒，甚至可能导致性能大幅下降。
2. 提出了一种新型的多模态框架，采用轻量级的ResNet Mix Convolution架构，旨在解决MRI脑肿瘤分级问题，实现了模型效率和效果之间的良好平衡。
3. 设计了一种跨模态引导辅助模块，能够有效地利用多种模态进行训练，其中主要模态的主要贡献可以在很大程度上得到保留和利用

【方法】

• A. ResNet混合卷积（ResNet Mixed Convolution, RMC）

  • 目的：使用RMC来学习特定的空间和时间关系，同时降低计算成本。

  • 特点：RMC结合了2D和3D卷积，包括一个包含3D卷积层的主体，一个3D卷积块和三个2D卷积块。这种结构显示出比纯3D ResNet和其他时空模型（如ResNet (2+1)D）更优越的性能。