音视频质检及画质评估——为QoS & QoE 指标保驾护航

  //  

腾讯已有超过21年的音视频技术积累，独家具备 RT-ONE 全球网络。此外，构建了包括实时音视频、云直播、云点播、即时通信、媒体处理等业界最完整的 PaaS 及 aPaaS 产品家族，面向各大场景提供低代码解决方案，开发者和企业可以快速上线高品质的音视频应用。下面有请孙祥学老师为我们分享腾讯云在音视频方面采取的质检及画质评估策略。

文/孙祥学

编辑/LiveVideoStack

我是来自腾讯云音视频的孙祥学，现在负责腾讯云媒体处理（MPS）产品的后台开发。今天跟大家分享的主题是音视频质检及画质评估。质检的概念大家可能比较陌生，但其实在很早以前，广电领域就有另一个相关的叫法——视频技审，从技术的角度审核视频质量，区别于内容审核，视频内容审核大家应该比较熟悉，审核视频是否涉黄政暴。而质检则是从技术维度去检查视频的问题。

这个画面大家可能有点似曾相识，这不是现场设备导致的无法播放，这本身就是一张无法播放的截图。大家平时在家里看电视、手机视频，特别是一些老的视频源时，偶尔会出现这样的问题。很多视频在终端上面存在一些兼容性的问题，导致无法播放。对于内容提供商来说，这种播放体验很差，甚至会导致一部分客户的流失。质检就是为解决这种问题而衍生出的解决方案，防止有问题的视频出现在线上，甚至被用户点播发现异常。

今天将从概述、格式诊断、内容质检、无参考评分、异常修复和体验测试六个部分展开介绍。

-01-

概述

贯穿整个视频的生命周期，从拍摄、采集、编码、封装，到传输、解封装、解码、渲染播放都有可能引入质量问题。举两个例子，大家都知道现在短视频很火，在短视频拍摄里面有一个大家耳熟能详的词叫运镜。运镜运的好叫技术流，运的不好的晃的人头晕眼花，这就是从拍摄环节引入的质量问题。另一个例子是编码环节，视频有非常多的编解码格式、封装格式，非标准编码之后，在不同的终端上、不同手机型号，都可能会存在兼容性的问题。单个视频兼容性排查就已经耗时费力，海量视频数据的质量把控就更加是个头疼的问题，质检的作用就是在视频投放前及时发现这些有问题的视频。

为了解决这个问题，腾讯云媒体处理（MPS）搭建了一套媒体质量监控的全平台链路。主要由媒体质检、后处理修复和播放三部分构成。媒体质检负责先找出问题，然后进行后处理修复，再到终端播放，播放之后通过用户的QoE和QoS行为数据对质检算法进行反馈。

媒体质检内部也分为三部分，分别是格式诊断、内容质检和无参考打分。格式诊断，聚焦视频的封装格式的规范性检查，例如视频的MP4、AV1、ASF格式等，音频的MP3、AAC等。在检查封装格式的同时还会进行编码规范的检查，检查视频编码时是否有按官方的规范。格式诊断发现视频没有格式问题，之后会对画面进行内容质检。检测画面能否正常播放、是否存在一些抖动、是否有模糊、过爆、噪点等问题。音频方面会聚焦音量不均衡、噪声、杂音等问题。在完成内容质检之后，会从清晰度、饱和度、深度、对比度出发，美学分析整个画面的构图色彩，