63、生成对抗网络与对抗方法在医学图像领域的应用

生成对抗网络与对抗方法在医学图像领域的应用

1. 生成对抗网络基础概述

生成对抗网络（GANs）在医学图像领域有着广泛的应用，其在样本生成、图像合成、图像质量增强、图像分割、领域适应以及半监督学习等方面都展现出了巨大的潜力。在许多应用中，判别器通常仅在训练阶段使用，而生成器则承担主要任务，在训练和测试阶段都会被使用。不过，半监督学习是个例外，在这个场景中，生成器会被丢弃，仅保留判别器。

2. 样本生成

GANs可用于从潜在分布 $p_z$ 中全新生成医学图像或解剖结构的样本。这些生成的样本有多种用途，比如可以扩大判别模型的训练集，或者为人类专家的培训合成数据。但这是一项具有挑战性的任务，因为在自然图像等领域，合成样本中的误差可能有一定的容忍度，然而在医学成像中，这样的误差可能会产生严重的负面影响。
- 二维图像合成示例
- Chuquicusma 等人使用 DCGAN 合成了 56×56 像素的显示肺结节的二维 CT 图像块。通过观察者研究评估合成肺结节的外观，结果表明在很多情况下，合成的图像块能够骗过放射科医生。不过，这些图像尺寸较小，可能会限制其在某些应用中的使用。
- Beers 等人采用 Karras 等人提出的渐进式 GAN 方法，生成了 256×256 像素的多模态 MRI 图像切片和 512×512 像素的视网膜眼底图像。该方法同时合成了医学图像以及对应的脑肿瘤 MRI 分割掩码和眼底图像中的视网膜血管分割掩码。实验结果显示，图像和分割掩码的联合合成能够得到更高质量的合成图像。
- Korkinof 等人证明了无需使用手动分割等先验信息的渐进式 GAN 能够生成高分辨率（高达 1280