论文总结（三）-- 超分辨算法基础与综述

关注

原创最新推荐文章于 2026-04-27 09:47:58 发布 1.3w 阅读 AI 写同款· GEO 优化 ›

【光谱超分辨率：综述】（面向深度学习的光谱超分辨率：成就和挑战）光谱超分辨率是一种从RGB图像获取高光谱图像的重要技术，可以有效地克服高光谱图像获取成本高、空间分辨率低的缺点。从线性插值到稀疏恢复，光谱超分辨率技术得到了快速发展。在过去的五年里，随着深度学习在各种计算机视觉任务中的起飞，基于深度学习的光谱超分辨率算法也出现了爆炸式增长。从残差学习到物理建模，用于光谱超分辨率的基于深度学习的模型多种多样。本文收集了几乎所有基于深度学习的sSR算法，并根据它们的主要贡献进行了综述，涉及网络架构，特征提取和物理建模。阅读详情

图像分辨率的概念

图像分辨率泛指成像或显示系统对细节的分辨能力，代表图像中存储的信息量。
指图像中存储的信息量，是每英寸图像内有多少个像素点，分辨率的单位为PPI(Pixels Per Inch)，通常叫做：像素每英寸。
图片的大小由像素的多少决定，分辨率是单位密度，同量像素图片的分辨率越高，面积越小。
一般情况下，图像分辨率越高，图像中包含的细节越多，信息量也越大。图像分辨率分为空间分辨率和时间分辨率。通常，分辨率被表示成每一个方向上的像素数量，例如64*64的二维图像。但是，分辨率的高低并不等同于像素数量的多少，例如一个通过插值放大了5倍的图像并不表示它包含的细节增加了多少。图像超分辨率重建关注的是恢复图像中丢失的细节，即高频信息。

超分辨问题的分类

超分辨率图像重建 (Super resolution image reconstruction, SRIR 或 SR) 是指用信号处理和图像处理的方法,通过软件算法的方式将已有的低分辨率 (Low-resolution, LR) 图像转换成高分辨率(High-resolution, HR)图像的技术
这里写图片描述
概括而言,按算法的输入输出的不同类型组合,超分辨率问题可以分为几类子问题,见图1.输入为低分辨率图像序列(视频),输出为单帧高分辨率图像的超分辨率问题,称为基于重建的超分辨率问题(Reconstruction-based super-resolution);输入与输出均为图像序列(视频)的超分辨率问题,称为视频超分辨率问题(Video super-resolution);输入与输出均为单帧图像的超分辨率问题,称为单帧图像超分辨率问题(Single image super resolution,SISR).根据是否依赖训练样本,超分辨率问题又可以分为增强边缘的超分辨率问题(Edge-focused super-resolution) (无训练样本)与基于学习的超分辨率问题(Learning-based superresolution) (有训练样本)两种.对于输入为单帧低分辨率图像,输出为图像序列 (视频)的问题,由于其缺失的信息太多,研究的实际意义不大,几乎没有相关的研究。

单幅图像的超分辨

基于学习的单帧超分辨率问题是近年来研究的一个热点,又称为图像幻感 (Image hallucination)或基于样例(Example-based) 的超分辨率, 它通过机器学习方法从训练样本集中提取所需的高频信息模型,从而对未知测试样本的所需信息进行预测,达到提高图像分辨率的目的, 参见图 5. 大部分的基于学习的超分辨率方法都是基于分块(Patch-based)的,目标图像平面被分成小的图像块, 通过计算求取低分辨率图像块所对应的高分辨率图像块.
这里写图片描述
基于学习的超分辨率算法相关的核心问题主要有两个部分: 算法模型的建立和训练集合的选取.
历史上采用的超分辨的算法：最近邻搜索-马尔科夫随机场 (MRF)-邻域嵌入
近几年：
稀疏表达
Yang J C, Wright J, Huang T, Ma Y. Image super-resolution as sparse representation of raw image patches. In: Proceedings of the 2008 IEEE Conference of Computer Vision and Pattern Recognition (CVPR). Anchorage, AK: IEEE, 2008.1−8

将基于学习的超分辨率问题看作一个回归问题,用稀疏回归(Sparse regression) 技术进行快速的回归计算
Kim K I, Kwon Y. Single-image super-resolution using sparse regression and natural image prior. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010,
32(6)

提出从训练样本集中学习得到一个更有效的字典(Dictionary).具有分辨率无关性的图像表达(Resolution-invariant image representation, RIIR)[67]被应用于快速的多级超分辨率图像重建任务
Yang J C, Wright J, Huang T S, Ma Y. Image superresolution via sparse representation.IEEE Transactions on Image Processing, 2010,19(11): 2861−2873
Wang J J, Zhu S H, Gong Y H. Resolution enhancement based on learning the sparse association of image patches. Pattern Recognition Letters, 2010, 31(1): 1−10

专门对人脸图像进行基于学习的超分辨率重建的方法也是一个相关的研究热点（能不能专门对遥感图像进行基于学习的超分辨？）
Liu C, Shum H Y, Freeman W T. Face hallucination: theory and practice.International Journal of Computer Vision, 2007,75(1): 115−134
Zhang W, Cham W K. Learning-based face hallucination in dct domain. In: Proceedings of the 2008 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Anchorage, AK: IEEE, 2008. 1−8

将增强边缘的超分辨率与基于学习的超分辨率相结合,使重建的图像结果既包含较好的纹理结节,又有较清晰的边缘轮廓.
Sun J, Zhu J J, Tappen M F. Context-constrained hallucination for image super-resolution. In: Proceedings of the 2010 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). San Francisco, CA: IEEE, 2010. 231−238
Tai Y W, Liu S C, Brown M S, Lin S. Super resolution using edge prior and single image detail synthesis. In: Proceedings of the 2010 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). San Francisco, CA: IEEE, 2010. 2400−2407

目前超分辨的论文：
香港中文大学汤晓鸥教授实验室的SRCNN超分辨算法，正在研究相关论文，还有其他的还需再查相关文献。还有一种基于生成对抗网络的超分辨GAN是一个点，抽时间要看看。

参考：

超分辨率图像重建方法综述.苏衡
http://blog.sina.com.cn/s/blog_9e1e8c1301015xat.html
http://baike.baidu.com/link?url=NTgTWytIFUZCv03yrL8bjpG7KxKCpWa2fVo1n8g3hXlTyoRqUtWbDqJzD_qCpSyxbXvDlAjEehZx8LSuitxZH0XHGCEgRUwcYLethJlhHgKj_–Y7degfORRcp3CTjnMhhQ5T1-aZXynTm6mVPhU4K