83、头颈部危险器官的多模态 CT 和 MR 分割

头颈部危险器官的多模态 CT 和 MR 分割

在医学图像分割领域，多模态数据的融合对于提高危险器官（OAR）分割的准确性和鲁棒性至关重要。本文将介绍一种名为模态融合模块（MFM）的机制，它可以应用于任何从多模态数据中学习特征的网络架构，并在缺失模态的情况下也能展现出良好的性能。

1. MFM 模块的提出

为了解决多模态数据融合中的问题，研究人员提出了模态融合模块（MFM）。MFM 具有以下优点：
1. 空间对齐 ：能够实现不同模态特征图（FMs）的空间对齐，进一步减少输入图像可变形配准后仍然存在的误差，丰富特征图以改善最终的 OAR 分割效果。
2. 缺失模态性能提升 ：与其他基线融合方法相比，显著提高了在缺失模态情况下的性能。
3. 单模态泛化能力 ：在单模态分布外数据上也表现良好，有助于跨模态学习，提高模型的泛化能力。

2. 方法

2.1 骨干网络架构

研究选择了基于 nnU-Net 的骨干网络。nnU-Net 是一个基于 U-Net 架构的公开可用的深度学习分割框架，它增加了可自配置的预处理、增强和后处理，并采用了高效的训练策略。然而，nnU-Net 使用的早期融合策略（在将输入图像或补丁输入到第一层网络之前进行拼接）可能不是多模态分割的最佳策略。这种方法在融合之前无法让网络从每个模态中学习到有意义的高级特征，导致每个输入模态的强度之间只有简单的关系。

为了解决这些挑战，研究提出了一种升级的 nnU-Net 网络，它有两个独立的编码器（分别用于 CT 和 MR 图像