视频超分是由图像超分发展而来的。基于深度学习的图像超分辨率(SISR)首次实现于2014年,推广到视频超分是在2017年,由此可见超分辨率还是一个比较新颖的课题方向。

超分类任务主要源自对图像视频信息的传输和恢复。在实际生活中,有很多情况下需要对图像或者视频进行传输,而由于视频图像的分辨率越来越高,体积越来越大,传输成本比如网络带宽等也在不断提升。因此对图像或者视频进行下采样(压缩)之后再进行传输,到达客户端以后在对图像视频进行恢复(restore)是很有必要的(比如微信发送照片时默认发送低分辨率的)。
图像超分辨率(Iimage Super-Resolution):
图像超分辨率的经典网络就是提出于2014年的SRCNN:

该网络以一张低分辨率图像为输入,输出一张高分辨率图像,仅有三层卷积层,学习的是两张图象之间的映射关系。有的同学可能会问:如何对两张大小不一的寻求其映射关系呢? 实际上早期的SR网络都是先对输入图像进行插值放大(传统方法,如二次插值,最近邻插值等),使得输入图像与输出图像大小维度相等,然后在寻求输入图像与输出的高清图像之间的映射关系。

本文介绍了图像和视频超分辨率技术的发展,特别是基于深度学习的方法。从2014年的SRCNN网络开始,图像超分辨率已取得显著进步,其中亚像素卷积成为关键结构。视频超分辨率通过利用帧间信息提升效果,分为对齐和不对齐两种方法,其中光流估计在网络中起到重要作用。TDAN模型通过时间可变形对齐实现了一阶段的视频超分,避免了光流估计。文章探讨了帧间信息融合在视频超分中的重要性,并提供了相关论文链接供进一步研究。
最低0.47元/天 解锁文章
1251





