URDGN:Ultra-resolve Face Images by Discriminative Generative Networks

Ultra-resolve Face Images by Discriminative Generative Networks

XIn Yu and Faith Porikli

简单地说，这篇文章的思路就是把超分辨率网络SR封装成GAN中的生成器。而且实现了更大倍数的超分辨率。

之前人脸超分辨率方法的弱点

1. 局限在2x,4x超分辨率
2. 一旦输入图像分辨率极低，得到的超分辨率结果就很模糊。一些使用landmark的方法无法从极低分辨率图像中获取足够的信息。
3. 很多方法超分辨率的结果存在伪影。
4. 部分方法要求训练集和测试集的人脸图像是对齐的，切具有相同的姿态和表情。
5. 生成超分辨率网络可以获取细节信息，但是与真实人脸差距较大。

论文的主要贡献

1. 提出了URDGN，可以超分辨率8倍，而输入图像只有。
2. 首个将生成判别网络用语人脸超分辨率的网络，且效果优于其他方法。
3. 通过使用正则化表明，本文提出的URDGN可以再任何尺寸下进行超分辨率，而突破GAN只能产生固定大小的图像的束缚。
4. URDGN的训练集不再局限于对齐、同姿势、同表情、同光照，而只需要脸部朝前，且近似对齐（眼睛对齐即可）。

论文提出的主要方法URDGN 

首先GAN中生成器的输入是随机噪声z，输出是想要得到的图像，然后判别器区分真实的图像x和，生成器努力想要“瞒”过判别器，判别器努力“识破”。这是GAN的思想，但是GAN生成的图像虽然具有尖锐的细节信息，但如果用在超分辨率上其结果与真实结果有偏差，于是URDGN为了利用GAN的长处，弥补它的不足，设计了一个反卷积网络作为生成器来做超分辨率，其输入是低分辨率图像，设计了一个卷积网络用来做判别器。

其目标函数为：