论文阅读：MedGAN：Medical image translation using GANs

原创最新推荐文章于 2026-08-11 12:00:47 发布 1.7k 阅读 AI写同款

收录于

论文阅读

图像生成

BulingQAQ

码龄7年墨衍会员 · AI 创作全网分发

335粉丝20篇原创

关注

Generating Multi-label Discrete Electronic Health Records using Generative Adversarial Networks阅读笔记本文参考的原始论文地址https://arxiv.org/abs/1703.06490v1摘要获取电子健康记录(EHR)数据推动了医学研究的计算进步。然而，各种对隐私的关注，会限制我们的访问和协作。共享综合EHR数据可以减少风险。该文提出了一种新的方法-医学生成对抗网络(MedGAN)，来生成真实的综合EHRs。基于作为输入EHR数据集，medGAN可以通过自动编码器和生成对抗性网络的... 阅读详情

AI摘要

本文介绍了医学图像转换框架MedGAN，它结合对抗性框架与非对抗性损失，采用CasNet生成器增强输出清晰度。该框架应用于PETCT翻译、MR运动伪影校正和PET图像去噪等任务，优于现有转换方法，还对其架构、训练、实验评估等方面进行了阐述。

Abstract

背景：

图像到图像的转换被认为是医学图像分析领域的一个新的前沿领域。

工作：

提出了一种新的医学图像到图像的转换框架MedGAN：
将对抗性框架与非对抗性损失的新组合相结合；
生成器——CasNet，该结构通过编码器-解码器对的逐步细化来增强翻译后的医学输出的清晰度；
判别器——作为一个可训练的特征提取惩罚之间的差异转换医学图像和期望的模式；
利用风格传递损失将目标图像的纹理和精细结构匹配到转换后的图像；
应用于三个不同的任务：PETCT翻译、MR运动伪影校正和PET图像去噪。

结果：

MedGAN优于其他现有的转换方法。

1. Introduction

由于可能引入不切实际的信息，将输入图像模态转换为输出模态的任务具有挑战性。这显然会使合成图像不可靠，无法用于诊断目的。

1.1 Classical approaches

1.2 Generative models

1.3 Medical image translation

1.4 Contributions

MedGAN的主要目的不是诊断，而是进一步增强需要全局一致图像属性的技术后处理任务。

MedGAN通过结合对抗性框架和一种新的非对抗性损失组合，捕捉所需目标模态的高频和低频成分。
CasNet新生成器架构，将多个完全卷积的编码器-解码器网络通过跳跃连接链接成一个生成器网络。
MedGAN在三项具有挑战性的医学成像任务中的应用：从PET图像生成合成CT图像、PET图像去噪以及MR运动伪影。
MedGAN与其他对抗性翻译框架的定量和定性比较。
从医学角度研究翻译后的医学图像的主观性能和保真度。

2. Materials and Methods

MedGAN架构：

2.1 Preliminaries

2.1.1 Generative adversarial networks

GANs 由两个主要部分组成：生成器和判别器。
生成器 G 接受来自先验噪声分布 $pnoisep_{\text{noise}}$ （例如正态分布）的输入样本 z，并将其映射到数据空间 $x^=G(z)\hat{x} = G(z)$ ，从而诱导出模型分布 $pmodelp_{\text{model}}$ 。
判别器 D 是一个二元分类器，其目标是将真实数据样本 $\sim p_{\text{data}}$ 分类为真实（D(x)=1），而将生成的样本 $x^∼pmodel\hat{x} \sim p_{\text{model}}$ 分类为虚假（ $D(x^)=0D(\hat{x}) = 0$ ）。
这两个网络相互竞争：生成器试图生成与真实样本无法区分的样本，即使 $pmodel≈pdatap_{\text{model}} \approx p_{\text{data}}$ ，从而欺骗判别器；与此同时，判别器的目标是通过学习更有意义的特征来避免被欺骗，更好地区分真实和生成的样本。

表现为：
$min⁡Gmax⁡DLGAN\min_G \max_D L_{\text{GAN}}$
对抗损失：
$LGAN=Ex∼pdata[log⁡D(x)]+Ez∼pnoise[log⁡(1−D(G(z)))]L_{\text{GAN}} = \mathbb{E}_{x \sim p_{\text{data}}} [\log D(x)] + \mathbb{E}_{z \sim p_{\text{noise}}} [\log (1 - D(G(z)))]$

2.1.2 Image-to-image translation

将对抗网络从图像生成应用于转换任务的基本原理是将生成器网络替换为条件生成对抗网络 (cGAN)。

生成器的目标是通过映射函数 $G(y,z)=x^∼pmodelG(y, z) = \hat{x} \sim p_{\text{model}}$ 将源域图像 $\sim p_{\text{source}}$ 映射到其对应的真实目标图像 $\sim p_{\text{target}}$ 。这通常可以被视为两个共享相同底层结构但表面外观不同的域之间的回归任务。

cGAN 不是使用手动构建的损失函数来测量转换图像和目标图像之间的相似性，而是利用一个二元分类器——判别器来代替。
对抗损失：
$LcGAN=Ex,y[log⁡D(x,y)]+Ez,y[log⁡(1−D(G(y,z),y))]L_{\text{cGAN}} = \mathbb{E}_{x,y}[\log D(x, y)] + \mathbb{E}_{z,y}[\log (1 - D(G(y, z), y))]$

判别器的目标是将源图像 y 和其对应的真实目标图像 x 的拼接视为真实（D(x, y) = 1），而将 y 和生成的图像 $x^\hat{x}$ 视为虚假（ $D(x^,y)=0D(\hat{x}, y) = 0$ ）。
仅依赖对抗损失函数的图像到图像翻译框架无法生成一致的结果。生成的图像可能不会与目标图像共享相似的全局结构。
为了解决这一问题，通常会加入像素重构损失，例如 L1 损失。这可以通过计算目标图像与生成图像之间的平均绝对误差 (MAE) 来实现：
$LL1=Ex,y,z[∥x−G(y,z)∥1]L_{L1} = \mathbb{E}_{x,y,z} [\|x - G(y, z)\|_1]$
最终训练目标：
$min⁡Gmax⁡D(LcGAN+λLL1)\min_G \max_D (L_{\text{cGAN}} + \lambda L_{L1})$

2.2 Perceptual loss

利用这种损失函数的转换框架往往会在保持全局结构的同时，导致图像失真和细节丢失。
为了捕捉图像中高频成分之间的差异，额外引入了感知损失。
这种损失是基于使用判别器网络作为可训练的特征提取器，提取中间特征表示。目标图像 x 和翻译图像 $x^\hat{x}$ 的特征图之间的平均绝对误差 (MAE) 被计算为：
$Pi(G(y,z),x)=1hiwidi∥Di(G(y,z),y)−Di(x,y)∥1P_i (G(y, z), x) = \frac{1}{h_i w_i d_i} \|D_i (G(y, z), y) - D_i (x, y)\|_1$
其中 $D_i$ 表示从判别器网络的第 i 个隐藏层提取的特征表示， $h_i$ 、 $w_i$ 和 $d_i$ 分别表示特征空间的高度、宽度和深度。
感知损失：
$Lperceptual=∑i=0LλpiPi(G(y,z),x)L_{\text{perceptual}} = \sum_{i=0}^{L} \lambda_{pi} P_i (G(y, z), x)$
其中 L 是判别器的隐藏层数量， $λpi>0\lambda_{pi} > 0$ 是一个调节超参数，表示第 i 层的影响。

稳定判别器的对抗训练，采用了谱归一化正则化，通过对判别器中每一层 i 的权重矩阵 $θD,i\theta_{D,i}$ 进行归一化来实现：
$θD,i=θD,iδ(θD,i)\theta_{D,i} = \frac{\theta_{D,i}}{\delta(\theta_{D,i})}$
其中 $δ(θD,i)\delta(\theta_{D,i})$ 表示矩阵 $θD,i\theta_{D,i}$ 的谱范数。因此，判别器函数 D(x, y) 的 Lipschitz 常数将被限制为 1。
在实际操作中，为了计算谱范数，使用了功率迭代法的近似 $δ^(Wi)\hat{\delta}(W_i)$ ，而不是应用奇异值分解，以降低所需的计算复杂度。

2.3 Style transfer losses

用于损失计算的特征来自为图像分类任务预训练的特征提取器。
预训练网络的优势它能够从更大的感受野中提取丰富的特征，从而在增强转换图像的全局结构的同时，也增强精细的细节。
风格迁移损失可以分为两个主要组成部分：风格损失和内容损失。

2.3.1 Style loss

风格损失惩罚转换图像与其对应目标图像之间风格表示的差异。

特征的相关性通过每个卷积块的Gram矩阵 $Gr_j(x)$ 表示，该矩阵的形状为 $dj×djd_j \times d_j$ ，其元素通过特征图在高度和宽度维度上的内积计算得出：
$Grj(x)m,n=1hjwjdj∑h=1hj∑w=1wjVj(x)h,w,mVj(x)h,w,nGr_j(x)_{m,n} = \frac{1}{h_j w_j d_j} \sum_{h=1}^{h_j} \sum_{w=1}^{w_j} V_j(x)_{h,w,m} V_j(x)_{h,w,n}$
$V_{j,i}(x)$ 表示从输入图像 x 中通过特征提取网络的第 j 个卷积块和第 i 层提取的特征图。仅使用每个卷积块的第一层，并将在符号中省略。这些特征图的大小为 $hj×wj×djh_j \times w_j \times d_j$ ，其中 $h_j$ 、 $w_j$ 、 $d_j$ 分别表示高度、宽度和空间深度。

风格损失计算为转换输出 $x^\hat{x}$ 和真实输入 x 之间的特征相关性差异的Frobenius范数平方：
$Lstyle=∑j=1Bλsj14dj2∥Grj(G(y,z))−Grj(x)∥F2L_{\text{style}} = \sum_{j=1}^{B} \lambda_{sj} \frac{1}{4 d_j^2} \| Gr_j(G(y, z)) - Gr_j(x) \|_F^2$
$λsj>0\lambda_{sj} > 0$ 是一个调整的超参数，表示第 j 个卷积块的贡献权重，B 是卷积块的总数。

2.3.2 Content loss

内容损失惩罚从特征提取网络中提取的特征表示之间的差异，不捕捉风格或纹理的差异。
起到了类似像素重构损失的辅助作用，通过增强低频分量并确保转换图像的全局一致性。

内容损失：
$Lcontent=∑j=1Bλcj1hjwjdj∥Vj(G(y,z))−Vj(x)∥F2L_{\text{content}} = \sum_{j=1}^{B} \lambda_{cj} \frac{1}{h_j w_j d_j} \| V_j(G(y, z)) - V_j(x) \|_F^2$
其中， $λcj>0\lambda_{cj} > 0$ 是一个超参数，表示第 j 个卷积块第一层的影响力。

2.4 MedGAN architecture

CasNet架构：

2.4.1 U-blocks

U-块是一个全卷积编码器-解码器网络。
编码路径将输入域中的图像（分辨率为256×256）映射到一个高级表示，该表示由8个卷积层堆叠而成，每个卷积层后面都跟着批量归一化和Leaky-ReLU激活函数。
卷积滤波器的数量分别为64、128、256、512、512、512、512和512，卷积核大小为4×4，步长为2。
解码路径与编码架构相对应，但使用分数步长反卷积，每层之后将分辨率放大两倍。
上采样路径的每层分别包含512、1024、1024、1024、1024、512、256和128个滤波器，这些层使用ReLU激活函数，但最后一层反卷积层使用Tanh激活函数。
U-块包含跳跃连接。

2.4.2 CasNet

CasNet通过端到端地连接多个U-块来增强MedGAN的生成能力。
通过这种网络深度的损失梯度反向传播可能导致梯度消失问题，但是，由于单个U-块内部使用了跳跃连接，这个问题得到了缓解。

2.4.3 Discriminator architecture

判别器采用了改进后的PatchGAN架构。
PatchGAN的设计不是为了将目标图像和输出图像分类为真实或虚假，而是具有减小的感受野，以便在分类之前将输入图像通过卷积分成更小的图像块，并对结果进行平均。
为了避免使用较小块大小时出现的典型平铺伪影，70x70块是常用的块大小。然而，实验发现，将较小的块与先前引入的非对抗性损失（如感知损失和风格迁移损失）结合使用，可以促进更清晰的结果，同时消除传统的平铺伪影。
通过结合两个卷积层（分别具有64和128个空间滤波器），随后是批量归一化和Leaky-ReLU激活函数，来实现16x16块的大小。
最后，为了输出所需的置信度概率图，使用了一个输出维度为1的卷积层和一个sigmoid激活函数。

2.5 MedGAN framework and training

MedGAN累计损失函数：
$LMedGAN=LcGAN+λ1Lperceptual+λ2Lstyle+λ3LcontentL_{\text{MedGAN}} = L_{\text{cGAN}} + \lambda_1 L_{\text{perceptual}} + \lambda_2 L_{\text{style}} + \lambda_3 L_{\text{content}}$
$λ1\lambda_1$ 、 $λ2\lambda_2$ 和 $λ3\lambda_3$ 是平衡不同损失组件的超参数。
最终选择了 $λ1=20\lambda_1 = 20$ 和 $λ2=λ3=0.0001\lambda_2 = \lambda_3 = 0.0001$ 。