超分辨率技术在实时音视频领域的研究与实践

前言

近日，计算机视觉和模式识别领域顶级会议 CVPR 在美国新奥尔良市举办，同时计算机图像恢复领域最具影响力的全球性顶级赛事 NTIRE 在会上颁奖，网易云信音视频实验室取得 NTIRE 高效率超分辨率挑战赛总体性能赛道冠军，以及运行时间赛道季军。本文将着眼于 AI 超分技术从研究到部署的落地问题，介绍超分辨率技术现状，以及视频超分在移动端落地应用所面临的机遇与挑战。

 

 

超分辨率技术概述

近年来，互联网视频数据呈爆炸式增长。与此同时，视频的分辨率也越来越高，以满足人们对视频体验质量（Quality of Experience, QoE）日益增长的需求。但是，由于带宽的限制，网络传输视频通常会被降采样和压缩，这不可避免地会导致视频质量的下降，进而影响用户的体验与观感。超分技术旨在从低分辨率输入中恢复出视觉质量更佳的高分辨率输出，可以有效地解决视频质量不佳的问题，从而满足播放端用户对于极致高清画质的需求。在直播点播、监控设备、视频编解码、手机拍摄、医学影像、数字高清和视频复原等领域都有非常重要的应用价值。

 

以下两个场景是我们在生活中经常会碰到的问题，都可以用超分技术解决：

场景一：张三在地铁上观看视频，因为地铁网络不好，所以只能观看标清或者低清视频，再提高分辨就会容易卡顿，体验很差，因此只能接受低画质视频，可以通过超分来提高播放的视频分辨率，增加画质。

场景二：小学生李四使用智能手表与妈妈手机视频通话的时候，发现手表容易发热，流量也用得快。因为受限于芯片性能，发送高分辨率的视频时比较耗电，只能发送低分辨率视频，可以在妈妈的手机上利用超分技术提高画质。

超分辨率技术的分类与发展方向 

超分辨率技术广义上讲包含 3 种情况: 单幅图像超分辨率、从多帧连续图像中超分辨率重建单帧图像、视频序列的超分辨率重建。

单幅图像放大主要利用对髙分辨率图像的先验知识和以混叠形式存在的高频信息进行复原。后两种情况除了利用先验知识和单幅图像信息外，还可以应用相邻图像之间的互补信息进行超分辨率重建，得到比任何一幅低分辨率图像分辨率都高的高分辨率