【图像超分辨率重建】——EnhanceNet论文精读笔记

2017-EnhanceNet: Single Image Super-Resolution Through Automated Texture Synthesis(EnhanceNet)

基本信息

作者： Mehdi S. M. Sajjadi Bernhard Sch¨olkopf Michael Hirsch
期刊： ICCV
引用： *
摘要： 单一图像超分辨率是指从单一低分辨率输入推断出高分辨率图像的任务。传统上，这项任务的算法性能是用像素级的重建措施来衡量的，如峰值信噪比（PSNR），这已被证明与人类对图像质量的感知关联性很差。因此，最小化这些指标的算法往往会产生过度平滑的图像，这些图像缺乏高频纹理，尽管产生了高PSNR值，但看起来并不自然。我们提出了一种新的自动纹理合成应用，结合感知损失，重点是创造真实的纹理，而不是在训练期间优化地面真实图像的像素精确再现。通过在对抗性训练环境中使用前馈全卷积神经网络，我们在高放大率下实现了图像质量的大幅提升。在一些数据集上的广泛实验显示了我们方法的有效性，在定量和定性的基准上都产生了最先进的结果。

1.简介

• 超分辨的困难：当下采样时，大量不同的HR图像可以产生相同的LR图像。对于高倍率，这种一对多的映射问题变得更糟，使SISR成为一个高度复杂的问题。大的下采样系数导致高频信息的损失，使超分辨率图像中的纹理区域变得模糊，过于光滑，外观不自然。

• 本文提出的方法比SOTA方法展示更清晰：这种行为的原因在于目前最先进的方法所采用的目标函数的选择：大多数系统最小化HR地面真实图像和它从LR观察的重建之间的像素平均平方误差（MSE），然而MSE已被证明与人类对图像质量的感知相关性很差。虽然容易最小化，但最佳MSE估计器返回许多可能的解决方案的平均值，这使得SISR的结果看起来不自然和不可靠。在超分辨率的背景下，这种回归平均的问题是一个众所周知的事实，然而，对自然图像的高维多模态分布进行建模仍然是一个具有挑战性的问题。
  上图表明最低MSE的最终视觉效果不尽人意，而对抗损失产生的图像却和原图很相似。耐人寻味的是，这个结果的PSNR比模糊的MSE样本低。

• 本文的工作：提出了对最近的纹理合成网络的新颖修改，结合对抗性训练和感知损失，在大放大率下产生真实的纹理。该方法同时适用于所有的RGB通道，并以有竞争力的速度产生自然图像的清晰结果。通过适当的损失组合训练，我们在PSNR和使用感知指标方面都达到了最先进的结果。

2.相关工作

• 介绍了SISR的多年发展历程，从最经典的插值，到频域法，再到重建法，到基于深度学习的方法。高倍率SISR背景下的真实纹理仅由用户指导的方法实现。
• 自从SRCNN以来，PSNR就成为衡量SISR技术的指标，由于这些模型是通过MSE最小化来训练的，结果往往是模糊的，并且由于上述的回归平均问题而缺乏高频纹理。有人为CNN提出了其他的感知损失，其想法是将损失从图像空间转移到像VGG这样的物体识别系统的更高层次的特征空间，尽管PSNR值较低，但结果更清晰。
• 目前CNN用于纹理合成和风格转移比较有效，但是尚未用于SISR，同时对抗网络被证明在一些图像生成任务中产生了好结果

3.单幅图像超分辨

多数模型使用MSE之类的损失函数优化模型，虽然以PSNR衡量达到了很好的效果，但得到的图像往往看起来很模糊，缺乏原始图像中的高频纹理。这是SISR中高模糊性的直接影响：由于降采样从输入图像中删除了高频信息，没有任何方法可以希望以像素级的精度重现所有精细细节。因此，即使是最先进的模型也会学习在这些区域产生所有可能的纹理的平均值，以使输出图像的欧氏损失最小。

在上图中，所有的高频信息都被降采样所丢失。关于欧氏损失的最佳解决方案只是所有可能的图像的平均值，而更高级的损失函数会导致更真实的，尽管不是像素完美的再现。

4.方法

4.1.网络结构

网络结构如图所示：

4.2.训练与损失函数

1. 图像空间的像素级损失
   ${\mathcal{L}}_E=\Vert I_{\mathrm{est}}$