[论文笔记]Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network

[论文笔记]Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network

图像质量评价指标之 PSNR 和 SSIM
链接

  传统的方法一般处理的是较小的放大倍数，当图像的放大倍数在4以上时，很容易使得到的结果显得过于平滑，而缺少一些细节上的真实感。这是因为传统的方法使用的代价函数一般是最小均方差（MSE），即：
$$l_{MSE}^{SR}=\frac{1}{r^{2}WH}\sum _{x=1}^{rW}\sum _{y=1}^{rH}(I_{x,y}^{HR}-G_{\theta G}(I_{x,y}^{LR}))$$
  该代价函数使重建结果有较高的信噪比，但是缺少了高频信息，出现过度平滑的纹理。该文章中的方法提出的方法称为SRGAN, 它认为，应当使重建的高分辨率图像与真实的高分辨率图像无论是低层次的像素值上，还是高层次的抽象特征上，和整体概念和风格上，都应当接近。整体概念和风格如何来评估呢？可以使用一个判别器，判断一副高分辨率图像是由算法生成的还是真实的。如果一个判别器无法区分出来，那么由算法生成的图像就达到了以假乱真的效果。

1.Abstract & Introduction

在本文中，我们提出了一种用于图像超分辨率(SR)的生成对抗网络(GAN)。我们提出了一个感知损失函数（ perceptual
loss function），它包括对抗损失（adversarial loss）和内容损失（content loss）。对抗性损失促使我们使用判别器网络求解自然图像流形，这个判别器用来被训练以区分超分辨图像和原始逼真图像。我们使用由感知相似性（perceptual similarity）驱动的content loss，而不是在像素空间中使用相似性。

Contribution

1. 我们用PSNR和SSIM测量了具有高放大因子的图像SR的现有技术的新状态，其中我们使用16块深度Resnet(SRResnet)模型并针对MSE进行了优化。
2. 我们提出了一种基于GaN的网络SRGAN，它是针对一种新的感知损失而优化的网络。在此，我们将基于MSE的content loss替换为在VGG网络的特征图上计算的损耗。
3. 我们对三个公共基准数据集的图像进行了广泛的平均意见评分(MOS)测试。

2 Method

在训练时，通过将高斯滤波器（Gaussian filter）应用于$I^{HR}$，通过具有下采样因子R的下采样操作来获得$I^{LR}$。

2.1 Adversarial network architecture

m i n θ G m a x θ D E I H R ∼ p t r a