真实世界图像的超分辨率重建（一）概述

真实世界图像超分辨率：挑战与突破

原创

已于 2022-07-04 19:55:15 修改 · 1.7k 阅读

16 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #超分辨率重建

于 2022-03-16 22:18:41 首次发布

本文探讨了图像超分辨率重建领域的现状，指出尽管深度学习模型如SRCNN、ESPCN等在提升PSNR和SSIM指标上取得进展，但在模拟真实世界退化核方面存在挑战。由于获取真实世界图像数据的困难，大多数算法依赖于人工合成数据，导致在实际应用中效果不佳。RealSR数据集的出现为解决这一问题提供了可能，通过提供接近真实的退化图像对，提高了超分辨率模型在真实世界图像上的表现，但仍存在吉布斯效应等伪影问题。未来的研究重点将是优化真实世界图像重建的性能。

对于图像超分辨率重建算法而言，基本上已经发展到顶峰了。自2014年SRCNN首次将深度卷积神经网络应用在图像超分辨率重建上，一举击败了线性插值、最近邻插值、双三次插值等传统超分辨率方法以来，ESPCN、EDSR、ResnetSR、BasicSR等等网络模型随着越来越深的网络深度，越来越多的网络参数，的确不断的刷新了图像超分辨率重建的PSNR、SSIM等指标。

但是，图像超分辨率重建却一直没有真正面对它最初的设计初衷，那就是估计真实世界中的普化退化核。由于真实世界中的退化核会因为拍摄设备的型号、相机DIP流程、焦距、物距、镜头畸变等等诸多因素的影响，想要在真实世界中获得超分辨率网络训练需要用到的大型高、低分辨率图像数据是很困难的。这也是现在大多算法都是用人工合成的数据集的原因。但是人工数据大都采用bicubic插值等方式进行下采样获得低分辨率数据，这种简单的采样方式并被不能代表真实世界中的退化核，这也是诸多超分辨率算法在真实世界图像上应用效果很差的原因。