阿里云 RTC QoS 及视频编码联合优化之切流编码

如果要在两条分辨率不同的视频流之间切换，尽管这两条流的画面内容基本一样，但是由于两条流的参考帧不同，分辨率不同，目前所有的视频编码标准都无法做到利用帧间预测编码得到编解码匹配的结果，而帧内预测编码即 I 帧的压缩效率是非常低下的，因此在切流处很容易造成视频质量下降或由于码率突增引起的卡顿；阿里云 RTC codec 在前代标准的基础之上通过独创的切流编码技术和网络层 QoS 体系的紧密配合可以做到在此种场景下仍然利用帧间预测编码 P 帧且编解码匹配，相比于 I 帧显著提升压缩效率，提升视觉体验。

作者｜安基程、田伟峰
审校｜泰一

1. 背景介绍

一条视频流，如果中途改变分辨率，对于目前主流的 H.264/AVC, H.265/HEVC 标准来说，必须要编码 I 帧，即只能利用帧内信息冗余，如图 1（左）所示；新一代的编码标准如 AV1，H.266/VVC 等可以做到利用帧间信息冗余，不编 I 帧，以提升压缩效率，基本原理是通过对参考帧进行缩放，使得参考帧和当前帧的分辨率一致，如图 1（右）所示，阿里云 RTC codec 的变分辨率编码（Resolution Change Coding，以下简称 RCC）技术也具备该能力，详情请参考我们之前的分享：《阿里云 RTC QoS 弱网对抗之变分辨率编码》。

本文将要介绍的切流编码（Stream Switch Coding，以下简称 SSC）技术是对 RCC 技术的升级。

图 1. 变分辨率示意图(左：传统插入 I 帧方式；右：参考帧缩放技术）

H.264/AVC 标准的 SP slice 技术可以用于切换两条分辨率一样的视频流，但是对于切换两条分辨率不同的视频流则无能为力。

AV1 标准的 S frame 虽然可以用于从高分辨率的流切换