[论文翻译]基于图像自适应GAN重建

基于ProGAN的图像重建

Abu Hussein, S., Tirer, T. and Giryes, R. 2020. Image-Adaptive GAN Based Reconstruction. Proceedings of the AAAI Conference on Artificial Intelligence. 34, 04 (Apr. 2020), 3121-3129. DOI:https://doi.org/10.1609/aaai.v34i04.5708.

摘要

近年来，由变分自动编码器和生成对抗网络等(深层)生成模型产生的样本质量有了显著提高。
然而，这些方法的表示能力仍然不能捕捉复杂类别的图像的完整分布，如人脸。
这一缺陷在之前使用预先训练的生成模型来解决成像反问题的工作中已经被清楚地观察到。
在本文中，我们建议减轻生成器的有限表示能力，使它们图像自适应，并通过反向投影强制恢复与观测的遵从性。
我们通过经验证明了我们所提出的方法在图像超分辨率和压缩感知方面的优势。

介绍

近年来，深度学习的发展(Goodfellow、Bengio和Courville 2016)导致了学习生成模型的显著改进。
像变分自动编码器(VAEs) (Kingma和Welling 2013)、生成式对抗网络(GANs) (Goodfellow等人2014)和潜在空间优化(GLOs) (Bojanowski等人2018)等方法在建模数据分布方面取得了成功。
然而，对于复杂的图像类，例如人脸，虽然这些方法可以生成很好的示例，但它们的表示功能不能捕获完整的分布。这种现象有时在文献中被称为模式崩溃，特别是在GANs的背景下(Arjovsky, Chintala, and Bottou 2017;Karras等人，2017)。然而，正如(Richardson和Weiss 2018)所表明的，这在最近的其他学习方法中也很常见。从深度学习的发展中获得很多成果的另一个领域是成像逆问题，其目标是从退化或压缩的观测结果y中恢复图像x (Bertero和Boccacci 1998)。这些工作大多集中在训练卷积神经网络(CNN)学习特定观测模型从y到x的逆映射(例如具有一定比例因子的超分辨率和双三次抗混叠核(Dong et al. 2014))。然而，最近的研究建议使用神经网络来处理之前的图像，而不需要对每个不同的观察模型进行详尽的离线训练。这可以通过使用CNN降噪器来实现(Zhang et al. 2017;
Meinhardt等人，2017;Rick Chang等人2017)插入迭代优化方案(Venkatakrishnan、Bouman和Wohlberg 2013;Metzler, Maleki和Barniuk 2016;Tirer和Giryes 2018)，从零开始训练神经网络，直接在测试图像上(基于单个图像内信息的内部递归)成像任务(Shocher, Cohen，和Irani 2018;Ulyanov, Vedaldi和Lempitsky 2018)，或使用生成模型(Bora等人2017;Yeh等，2017Hand, Leong和Voroninski 2018)。
使用生成模型作为先验的方法只能处理属于该模型所训练的类的图像。然而，生成性学习为它们提供了其他策略所缺乏的有价值的语义信息。例如，如果眼睛在修复任务中完全缺失，那么一种不基于生成模型的方法无法产生感知上令人愉快的人脸图像(Yeh等。2017)。使用生成模型恢复复杂图像的主要缺点是生成器的表示能力有限。即使一个人在预先训练过的生成器的范围内搜索最接近原始x的图像，他也会得到显著的不匹配(Bora等人，2017年)。
在这项工作中，我们提出了一个策略，以减轻生成器在求解反问题时有限的表示能力。该策略基于测试时的温和内部学习阶段，这本质上使生成器图像自适应，同时保持在离线训练中获得的有用信息。此外，在低噪声的场景中，我们提出通过严格执行恢复与观测值y的反投影步骤进一步改进重建。我们通过经验证明了我们提出的方法在图像超分辨率和压缩感知方面的优势。

相关工作

我们的工作主要与Bora等人(2017)的工作有关，他们建议使用预先训练的生成模型来完成压缩感知(CS)任务(Donoho 2006;Candes, Romberg, and Tao 2006):在下式的形式中通过观测值$y\in {\mathbb{R}}^m$重建未知信号$x\in {\mathbb{R}}^n$
$$y=Ax+e,$$
其中A是一个m×n的测量矩阵，$e\in {\mathbb{R}}^m$表示噪声，并且测量的数量比信号的环境维度小得多，即，$m\ll n$。其次，事实上在非常流行的生成模型(GANs,VAEs和GLOs)的生成器G(.)是学习一个映射，从低维空间$z\in {\mathbb{R}}^k$到信号空间$G(z)\in {\mathbb{R}}^n$。作者(Bora et al . 2017年)提出了一个方法,称为CSGM,估计信号$\hat{x}=$