18、M-GenSeg：跨模态肿瘤分割的创新解决方案

M-GenSeg：跨模态肿瘤分割的创新解决方案

1. 背景与动机

在医学图像分析领域，传统方法在应对数据分布变化和训练数据不足的情况时存在困难。例如，在某些疾病诊断中，新的成像序列可能会取代旧的序列，但新序列的训练数据可能有限。因此，跨模态泛化能力对于准确的肿瘤分割至关重要。

一些生成模型尝试通过图像到图像的翻译和重建来实现跨模态泛化，但这些方法往往没有充分利用未标注的目标模态数据。为了解决这些问题，提出了M-GenSeg，这是一种用于跨模态域适应的新型训练策略。

2. M-GenSeg方法

2.1 M-GenSeg：半监督分割

M-GenSeg结合了GenSeg模型，引入了健康 - 患病图像翻译和模态翻译两个关键机制。

• 健康 - 患病翻译

  • 存在域到不存在域翻译（P→A） ：对于存在肿瘤的图像 $S_P$，通过编码器 $E_S$ 得到潜在表示 $[c_S^P, u_S^P]$。共同解码器 $G_S^{com}$ 利用共同代码 $c_S^P$ 生成健康版本的图像 $S_{PA}$，同时残差解码器 $G_S^{res}$ 输出残差图像 $\Delta_S^{PP}$，用于将 $S_{PA}$ 恢复为原始患病图像 $S_{PP}$，即 $S_{PA} = G_S^{com}(c_S^P)$，$\Delta_S^{PP} = G_S^{res}(c_S^P, u_S^P)$，$S_{PP} = S_{PA} + \Delta_S^{PP}$。