【论文阅读】SRIR综述2022

0. 摘要

研究背景和意义

在人类视觉感知系统中，高分辨率（HR）图像对于清晰表达空间结构、细节特征、边缘纹理等信息至关重要，在医学、刑侦、卫星等多个领域具有广泛实用价值。超分辨率图像重建（SRIR）旨在从低分辨率（LR）图像中重建出含有清晰细节特征的高分辨率图像，是计算机视觉和图像处理领域的重点研究任务。

研究内容和方法

• 算法分类阐述：首先对超分辨率图像重建的概念和数学模型进行阐述，然后系统地将图像重建方法分为基于插值、基于重构、基于学习（深度学习前、后）三类超分辨率图像重建方法。
• 算法综述：对三类方法中典型、常用和最新的算法及其研究进行全面回顾和综述。从网络结构、学习机制、适用场景、优势和局限性等方面对所列的图像重建算法进行梳理。
• 数据集和评价指标归纳：归纳总结了超分辨率图像重建算法所用的数据集和图像质量评价指标。
• 算法性能比较：重点比较基于深度学习的各种超分辨率图像重建算法的特点与性能。

研究展望

从四方面对超分辨率图像重建问题未来的研究方向或角度进行展望。

关键词

图像处理；超分辨率重建；深度学习；图像质量评估

1. 概述

1.1. 概念

从给定低分辨率（LR）图像中重建含清晰细节的高分辨率（HR）图像，是计算机视觉和图像处理重点任务。

1.2. 数学模型

其数学模型 为：利用“系统成像模型”自身的一些变化手段对退化后的图像实现重建。

超分辨率图像重建问题为“系统成像模型”的逆过程，输入LR图像重建出相应的 HR 图像 。

2. 基于插值的图像重建方法

2.1. 线性插值算法

最近邻插值法：插值点直接以与其欧式距离最短的像素点的灰度值为自身插值后的灰度值。

双线性插值法：从垂直、水平两个方向对相邻的四个像素点进行线性插值。

双三次插值法：将临近区域内四个相邻像素点扩充到十六个相邻像素点，使用三次插值多项式后进行加权平均计算。

2.2. 非线性插值算法

边缘导向插值法：对 RGB 三色图像的边缘信息进行约束、放大。

梯度引导插值法：利用邻域内一阶梯度、二阶梯度的信息调整梯度分布和像素分布。

小波变换插值法：利用小波变换所具有的局部细化特点，将图像特征信息分解到不同尺度上独立研究与分析后，将提取的特征信息叠加融合后再用小波逆变换提高图像分辨率。

3. 基于重构的图像重建方法

3.1. 频域法

在傅里叶变换频域内消除 LR 图像的频谱混叠，对多幅 LR 图像进行傅里叶变换实现超分辨率图像重建。

3.2. 空域法

非均匀内插法：对抽象出的非均匀分布的 LR 图像特征信息进行拟合或插值得到分布均匀的 HR 图像特征信息。

迭代反向投影法：解决超分辨率图像重建算法对图像先验信息的