PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models

1. 论文

PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models (cvpr2020)

• Link: https://arxiv.org/pdf/2003.03808.pdf
• Code: https://github.com/adamian98/pulse (4.8k star)

2. 背景梳理

超分辨任务是典型的ill-posed问题,根本原因在于图像在退化的过程中会产生信息的丢失，因此，对于一张特定的低分辨率图片(LR)，将会有许多“合理”的高分辨率图片与之对应。传统的超分辨学习方法采用全监督的方式，利用一张高清图片和从该图像下采样产生的低分辨率图片配对对模型进行训练。然而这种方式训练的模型往往会产生比较模糊的图片，原因正是由于忽略了ill-posed问题的本质，强行将低分辨率图片映射到随机一张“合理”的高清图片，最终模型将会学到的只是所有与低分辨率图片对应的高清图片的均值，视觉效果上自然会变模糊。本文利用经过预先训练的人脸生成模型，通过自监督的方法，将模型产生的超分图片限制在与真实高清图片曲面接近的曲面上，通过梯度回传的方式优化生成模型输入的噪声，不断拉近生成图片与目标图片的距离，最终得到与目标图片最接近的一个点，而非传统超分模型所输出的“均值”。

3. ill-posed problem!

如上图所示，对于右下角的低分辨率图片来说，其余三张高分辨率图片都是潜在的合理的高清图片，因为这些高清图片经过下采样等退化之后与其距离都很接近，尽管这些高清图片在细节层面存在很多差别。在传统超分模型的训练过程中，直接将由该低