[论文阅读笔记]Feature fusion and latent feature learning guided brain tumor segmentation and missing modal

最新推荐文章于 2025-10-13 22:09:14 发布

原创

最新推荐文章于 2025-10-13 22:09:14 发布 · 347 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#论文阅读 #笔记

该研究提出了一种深度神经网络，通过MFFM融合多模态特征，结合SC-LFLM学习潜在关联。实验表明，在BraTS2018数据集上，该方法在处理缺失模态时能提高脑肿瘤分割的准确性。未来工作包括改进生成器架构和多任务学习体系结构。

Zhou T. Feature fusion and latent feature learning guided brain tumor segmentation and missing modality recovery network[J]. Pattern Recognition, 2023, 141: 109665.

本论文是杭州师范大学国家自然科学基金青年项目“深度学习指导下的缺失核磁共振模态图像的脑肿瘤分割与复发位置预测研究”支持研究，批准年份2022，项目编号：62206084

背景与问题：

准确的脑肿瘤分割是临床诊断和手术治疗的关键步骤。
多模态脑肿瘤分割依赖于有效的融合方法和出色的分割网络。
在临床场景中，由于各种原因，MR模态常常缺失，导致肿瘤分割精度降低，并为后续的疾病分析带来信息损失。现有研究中一类是利用多模态潜特征空间来检索缺失的信息，第二类是先合成缺失的模态，然后用现有的和合成的模态分割脑肿瘤。然后它们大都只能处理缺失一个模态，或者分割过程和合成缺失模态过程相互独立。

提出的方法：

为了解决上述问题，作者提出了一个新型的多模态特征融合和潜在特征学习的深度神经网络。
该网络在三个关键组成部分的基础上构建：
1. 多模态特征融合模块（MFFM）：有效地融合不同模态的互补信息，它包含跨模态融合模块（CMFM）和多尺度融合模块（MSFM）。
2. 基于空间一致性的潜在特征学习模块（SC-LFLM）：利用多模态潜在关联，并提取相关特征以利于分割。
3. 多任务学习（MTL）路径：整合以监督分割任务并恢复缺失的模态。

评估与结果：

使用BraTS 2018数据集对所提出的方法进行评估。
与最先进的方法相比，该方法在缺失一个或多个模态的情况下，能够实现优越的分割结果。

方法详解：

本文方法的流程图如图2所示。首先，可用的MR模式被输入到单独的编码器，以学习每个模式的独立特征。然后，提出一种多模态特征融合模型，提取用于分割的信息特征，包括跨模态融合模块和多尺度融合模块。此外，利用基于空间一致性的潜特征学习模块，利用潜多模态相关，学习相关特征，有利于分割。然后，实现多任务学习路径，包括缺失模式的模态生成任务、可用模式的模态重建任务和脑肿瘤分割任务。

Multimodal feature fusion model (MFFM)
- Cross-Modality fusion module (CMFM)：学习跨模态特征
  
  本模块中使用的自注意力机制相对原始方式改进如下：(1)将自注意模型应用于三维特征表示中的交叉模态特征，而不是一维序列。为了实现这一点，按比例的点积注意力被像素级的乘法注意力所取代。(2)将输入张量与权值矩阵( $W_q, W_k, W_v$