【论文阅读笔记】SMU-Net: Style matching U-Net for brain tumor segmentation with missing modalities

Azad R, Khosravi N, Merhof D. SMU-Net: Style matching U-Net for brain tumor segmentation with missing modalities[C]//International Conference on Medical Imaging with Deep Learning. PMLR, 2022: 48-62.
这篇论文提出了风格匹配U-Net（SMU-Net），它采用了一种包含内容和风格匹配机制的协同训练方法。这种方法涉及将完整模态和缺失模态数据编码到潜在空间，并将其分解为风格和内容表示。风格匹配模块能够自适应地重新校准表示空间，将信息丰富和纹理特征从完整模态路径转移到缺失模态路径。此外，内容模块专注于区分性的语义特征，超越了较少信息的特征。论文通过在BraTS 2018数据集上的评估，展示了SMU-Net在脑肿瘤分割中的有效性。

本文创新点和核心思想如下：

1. 风格匹配U-Net（SMU-Net）架构：这是一种新型的神经网络架构，专门为处理MRI脑肿瘤分割中的缺失模态问题而设计。它通过风格匹配机制，有效地弥补了传统方法在处理缺失模态数据时的不足。
2. 内容与风格匹配机制：SMU-Net引入了一个独特的内容和风格匹配机制。该机制能够从具有全部模态的网络中提取信息特征，并将这些特征有效地转移到缺失某些模态的网络中，从而提高了分割的准确性和可靠性。
3. 共同训练策略：该方法采用共同训练策略，同时训练全模态和缺失模态的网络。这种策略使得网络能够在缺少一部分数据的情况下，仍然能够有效地学习和适应，提高了模型对缺失模态的适应性和鲁棒性。
4. 针对极端缺失模态情况的优化：SMU-Net特别针对极端缺失模态情况（如单一模态输入）进行了优化，显著提升了在这类挑战性情境下的性能。
5. 神经风格转移的应用：文中将神经风格转移的概念应用于医学图像处理，特别是在MRI脑肿瘤分割中。这一点在之前的研究中较少见，为医学图像分析领域带来了新的视角和方法。

网络架构

• Co-training Network：

  设计两种不同的学习路径，1)以完整的模式作为输入的路径，2)输入带有缺失模式的路径。本设计的主要目标是将全模态路径中的信息蒸馏到缺失模态路径，其中协同训练策略鼓励缺失模态网络重构缺失信息。使用以下一些损失函数：

  • 常规分割损失Dice Loss计算分割结果和Ground Truth之间损失：${\mathcal{L}}_{seg}={\mathcal{L}}_{\text{dice }}\left(Y_f^{\prime },Y\right)+{\mathcal{L}}_{\text{dice }}\left(Y_m^{\prime },Y\right)$

  • Jensen-Shanon estimator用于算全模态路径和缺失模态路径的输出(软logits (SL)）之间的差异，即上面两条独立训练路径输出结果之间的差异：

    ${\mathcal{L}}_I\left(S{L}_f,S{L}_m\right)={\mathbb{E}}_{{\mathbb{P}}_{S{L}_{f}S{L}_m}}[-\mathrm{sp}(C{T}_{\varphi }(s{l}_f,$