基于卷积神经网络的粗到细图像超分辨率方法
1 引言
单图像超分辨率(SR)是计算机视觉领域的经典问题,旨在从单张低分辨率图像重建高分辨率图像。一般而言,图像超分辨率是一个欠定的逆问题,因为给定一张低分辨率图像可能有多种解决方案。目前,该技术的研究主要集中在三个方面:基于插值的超分辨率、基于重建的超分辨率和基于学习的超分辨率。其中,基于学习的超分辨率由于机器学习算法的发展而备受关注,它通过不断训练高分辨率和低分辨率图像对来学习表示,从而获得超分辨率模型,常见方法包括稀疏表示、流形学习和深度拉普拉斯金字塔网络等。
受卷积神经网络(CNNs)在视觉相关任务中取得的成功启发,超分辨率卷积神经网络(SRCNN)应运而生。该方法通过三个隐藏层学习低分辨率(LR)和高分辨率(HR)图像对之间的端到端映射,明显优于以往方法,能够重建更多高频细节。然而,SRGAN虽然能获得较高的感知质量,但存在网络不稳定和模式崩溃等缺点。考虑到SRCNN浅网络的局限性,VDSR进一步提出了基于非常深网络的校正卷积神经网络超分辨率方法,通过增加网络深度获取更精细的高频细节,并采用残差学习优化网络架构,显著优于SRCNN和其他先前方法。
本文在这些基于CNN的图像超分辨率方法的基础上进行了进一步探索,提出了一种基于粗到细思想的三级卷积神经网络架构,每一级包含十个卷积层,能够进一步细化获得的高分辨率图像,保留更精细的结果。实验表明,在ImageNet数据集上训练后,该方法在Set5、Set14和BSD100等公共基准数据集上的重建结果验证了其有效性。
2 相关工作
2.1 SRCNN
SRCNN是第一个将卷积神经网络应用于图像超分辨率的方法。它仅包含卷