22、基于生成对抗网络的多模态医学体积翻译与分割

基于生成对抗网络的多模态医学体积翻译与分割

1. 引言

在当前的临床实践中，多种成像模式可用于疾病诊断和手术规划。对于特定患者群体，某种成像模式可能比其他模式更常用。随着多种成像模式的普及，临床迫切需要开发跨模态图像转移分析系统，以辅助临床治疗，如放射治疗规划。

机器学习方法已广泛应用于医学图像分析，包括解剖结构的检测、分割和跟踪。这些方法通常具有通用性，可通过在目标成像模式上重新训练扩展到其他模式。然而，要实现足够的鲁棒性，需要大量具有代表性的训练图像。在实践中，收集足够的训练图像往往很困难，尤其是对于临床实践中尚未广泛应用的新成像模式。合成数据常被用作补充训练数据，以提高机器学习模型的泛化能力。但合成数据与真实数据之间的分布差距往往决定了这种方法的成败。

本文提出了一种新方法来解决上述两个具有挑战性的任务。一般情况下，对于一种医学图像（如脑部或心血管图像），研究人员可从不同成像协议获取多模态患者数据。但大多数分类任务（如分割）的方法是在各自的模态上进行研究和探索的，每个领域都需要进行昂贵且重复的标注过程。由于数据分布差异较大，利用其他模态的标注数据具有很大挑战性。假设存在一个映射函数可以在两种模态之间任意转换数据，我们就可以利用转换后的合成数据来帮助各种分类模型（如分割模型）的训练。这个问题主要包含两个任务：一是合成逼真的图像，二是利用合成数据提高机器学习模型的泛化能力。这是医学图像分析中一个极具吸引力但又具有挑战性的问题。

为了合成医学图像，近年来的研究使用生成对抗网络（GAN）将其转化为图像到图像的翻译任务。这些方法需要两个领域数据之间的像素对应关系来构建直接的跨模态重建。然而，在更常见的情况下，多模态医学图像是三维的，且没有跨模态的配对数据。因此，从