基于深度学习的图像超分辨率——综述

2021-Deep Learning for Image Super-resolution:A Survey

基本信息

作者： Zhihao Wang, Jian Chen, Steven C.H. Hoi, Fellow, IEEE
期刊： IEEE Trans Pattern Anal Mach Intell(16.389)
引用： 156(热点论文)
摘要： 本文旨在对深度学习方法在图像超分辨率研究中的最新进展进行综述。本文将SR技术分为3类：监督SR、非监督SR和特定领域的SR。本文还总结了公开可用的基准数据集和性能评估指标，总结了几个未来的方向和有待社会各界进一步解决的问题。

---

主要内容

目前的SR的主要区别：

1. 网络结构
2. 损失函数
3. 学习原则和策略

本文贡献：

1. 对基于深度学习的图像超分辨率技术进行了全面的综述，包括问题设置、基准数据集、性能指标、一类支持深度学习的超分辨率方法、特定领域的超分辨率应用等。
2. 系统地综述了基于深度学习的SR技术的最新进展，总结了每个组件对于有效的SR解决方案的优点和局限性。
3. 我们讨论了挑战和有待解决的问题，确定了新的趋势和未来的方向，为社会提供了有洞察力的指导。

全文层次结构

---

SR定义、数据集与指标

1. SR问题的定义
该部分介绍了SR的退化模型，重建模型以及SR目标函数

2. 数据集
有的数据集提供HR个LR，有的只提供HR，而LR通常需要用matlab的bicubic获得，常见的数据集如下：
其他专用数据集用于SR：ImageNet，MS-COCO，VOC2012，CelebA……
组合数据集用于SR：T91和BSDS300；DIV2K和Flickr2K……

3. SR图像指标(IQA)
指标主要包括主观指标和客观指标,但目前多用后者，两者可能会有差异（有矛盾）
客观指标的类型：使用参考图像执行评估的全参考方法、基于提取特征的比较的减少参考方法、没有任何参考图像的无参考方法

• PSNR峰值信噪比：客观指标，真实场景表现不佳，主要为了对比

• SSIM结构相似性：客观指标，符合感官需求

• MOS平均意见得分：主观指标，常见指标不好，但质量好的时候使用

• 以学习为基础的质量评估：MA、NIMA、DeepQA、LPIPS等，有待探索

• 基于任务的评估：主要用于人脸等任务

• 其他指标： MS-SSIM、FSIM、NIQE

• 总之，目前还是PSNR和SSIM更常用，其他都在探索阶段

4. 操作通道
前期多用YCbCr的Y通道评估，后期多用RGB通道，色彩空间不同，结果会有差异

5. 超分辨比赛

• NTIRE：对SR建立在DIV2K数据集上，CVPR

• PIRM：一个均衡精度和感知质量(RNSE,NIEQ,Ma)，一个用于智能手机(PSNR,MS-