论文阅读：MedGAN：Medical image translation using GANs

Abstract

---

背景：

图像到图像的转换被认为是医学图像分析领域的一个新的前沿领域。

工作：

提出了一种新的医学图像到图像的转换框架MedGAN：
将对抗性框架与非对抗性损失的新组合相结合；
生成器——CasNet，该结构通过编码器-解码器对的逐步细化来增强翻译后的医学输出的清晰度；
判别器——作为一个可训练的特征提取惩罚之间的差异转换医学图像和期望的模式；
利用风格传递损失将目标图像的纹理和精细结构匹配到转换后的图像；
应用于三个不同的任务：PETCT翻译、MR运动伪影校正和PET图像去噪。

结果：

MedGAN优于其他现有的转换方法。

1. Introduction

---

由于可能引入不切实际的信息，将输入图像模态转换为输出模态的任务具有挑战性。这显然会使合成图像不可靠，无法用于诊断目的。

1.1 Classical approaches

---

1.2 Generative models

---

1.3 Medical image translation

---

1.4 Contributions

---

MedGAN的主要目的不是诊断，而是进一步增强需要全局一致图像属性的技术后处理任务。

• MedGAN通过结合对抗性框架和一种新的非对抗性损失组合，捕捉所需目标模态的高频和低频成分。
• CasNet新生成器架构，将多个完全卷积的编码器-解码器网络通过跳跃连接链接成一个生成器网络。
• MedGAN在三项具有挑战性的医学成像任务中的应用：从PET图像生成合成CT图像、PET图像去噪以及MR运动伪影。
• MedGAN与其他对抗性翻译框架的定量和定性比较。
• 从医学角度研究翻译后的医学图像的主观性能和保真度。

2. Materials and Methods

---

MedGAN架构：

2.1 Preliminaries

---

2.1.1 Generative adversarial networks

---

GANs 由两个主要部分组成：生成器和判别器。
生成器 G 接受来自先验噪声分布 $p_{\text{noise}}$​（例如正态分布）的输入样本 z，并将其映射到数据空间 $\hat{x}=G(z)$，从而诱导出模型分布 $p_{\text{model}}$​ 。
判别器 D 是一个二元分类器，其目标是将真实数据样本 $x\sim p_{\text{data}}$​ 分类为真实（D(x)=1），而将生成的样本 $\hat{x}\sim p_{\text{model}}$​ 分类为虚假（$D(\hat{x})=0$）。
这两个网络相互竞争：生成器试图生成与真实样本无法区分的样本，即使 $p_{\text{model}}\approx p_{\text{data}}$​，从而欺骗判别器；与此同时，判别器的目标是通过学习更有意义的特征来避免被欺骗，更好地区分真实和生成的样本。

表现为：
$$\underset{G}{\min }\underset{D}{\max }{L}_{\text{GAN}}$$
对抗损失：
$$L_{\text{GAN}}={\mathbb{E}}_{x\sim p_{\text{data}}}[\log D(x)]+{\mathbb{E}}_{z\sim p_{\text{noise}}}[\log (1-D(G(z)))]$$

2.1.2 Image-to-image translation

---

将对抗网络从图像生成应用于转换任务的基本原理是将生成器网络替换为条件生成对抗网络 (cGAN)。

生成器的目标是通过映射函数 $G(y,z)=\hat{x}\sim p_{\text{model}}$ 将源域图像 $y\sim p_{\text{source}}$​ 映射到其对应的真实目标图像 $x\sim p_{\text{target}}$。这通常可以被视为两个共享相同底层结构但表面外观不同的域之间的回归任务。

cGAN 不是使用手动构建的损失函数来测量转换图像和目标图像之间的相似性，而是利用一个二元分类器——判别器来代替。
对抗损失：
LcGAN=Ex,y[log⁡D(x,y)]+Ez,y[log⁡(1−D(G(y,z),y))]L_{\text{cGAN}} = \mathbb{E}_{x,y}[\log D(x, y)] + \mathbb{E}_{z,y}[\log (1 - D(G(y, z), y))]LcGAN​=<