Ultra-resolve Face Images by Discriminative Generative Networks
XIn Yu and Faith Porikli
简单地说,这篇文章的思路就是把超分辨率网络SR封装成GAN中的生成器。而且实现了更大倍数的超分辨率。
之前人脸超分辨率方法的弱点
- 局限在2x,4x超分辨率
- 一旦输入图像分辨率极低,得到的超分辨率结果就很模糊。一些使用landmark的方法无法从极低分辨率图像中获取足够的信息。
- 很多方法超分辨率的结果存在伪影。
- 部分方法要求训练集和测试集的人脸图像是对齐的,切具有相同的姿态和表情。
- 生成超分辨率网络可以获取细节信息,但是与真实人脸差距较大。
论文的主要贡献
- 提出了URDGN,可以超分辨率8倍,而输入图像只有
。
- 首个将生成判别网络用语人脸超分辨率的网络,且效果优于其他方法。
- 通过使用
正则化表明,本文提出的URDGN可以再任何尺寸下进行超分辨率,而突破GAN只能产生固定大小的图像的束缚。
- URDGN的训练集不再局限于对齐、同姿势、同表情、同光照,而只需要脸部朝前,且近似对齐(眼睛对齐即可)。
论文提出的主要方法URDGN
首先GAN中生成器的输入是随机噪声z,输出是想要得到的图像,然后判别器区分真实的图像x和
,生成器努力想要“瞒”过判别器,判别器努力“识破”
。这是GAN的思想,但是GAN生成的图像虽然具有尖锐的细节信息,但如果用在超分辨率上其结果与真实结果有偏差,于是URDGN为了利用GAN的长处,弥补它的不足,设计了一个反卷积网络作为生成器来做超分辨率,其输入是低分辨率图像,设计了一个卷积网络用来做判别器。
其目标函数为: