阿里云 RTC QoS 屏幕共享弱网优化之若干编码器相关优化

原创

于 2021-01-20 14:35:39 发布 · 661 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#webrtc #rtc #网络 #编码器

本文探讨了阿里云RTCQoS如何通过ScreenContentCodingTools、LongTermReference、FastQPRateControl和ContentAdaptiveFrameRate等技术提升屏幕共享在弱网环境下的流畅性和清晰度。ScreenContentCodingTools利用特定编码工具提高压缩效率，节省带宽；LongTermReference利用长期参考帧技术改善丢包场景下的视频流畅性；FastQPRateControl则通过快速码率控制模式减少码率波动，确保视频平稳；ContentAdaptiveFrameRate根据内容自适应调整帧率，兼顾带宽效率和观看体验。这些优化在实际测试中展现出显著的性能提升。

屏幕共享是视频会议中使用频率最高的功能之一，但在实际场景中用户所处网络环境复杂，常遇到丢包或者拥塞的情况，所以如何优化弱网环境下的用户体验也成为了音视频通信中重要的一环。本文主要分享阿里云 RTC QoS 如何通过若干编码器相关优化提升弱网环境下的屏幕共享体验。

作者：长程/田伟峰
审校：泰一

内容说明：

本文介绍以下四个方面的优化：

Screen Content Coding Tools
Long Term Reference (LTR)
Fast QP Rate Control
Content Adaptive Frame Rate

对本文中效果测试的说明：

为保证视频质量，屏幕共享的 Codec 设置了最大 QP (Quantization Parameter)，在本文后面的测试中，这个最大 QP 对所有配置都是一样的。
为了更好的比较，效果测试中展示了流畅性和清晰度两个维度的效果。
对于流畅性的比较，由于视频分辨率太大，所以对其画面进行了缩放，使得原始版本和改进版本可以放在同一个视野中播放，以很好的看到卡顿和延迟的改进。画面模糊是由于上述原因降分辨率所致，在清晰度的对比中可以看到原始分辨率的画面。

Screen Content Coding Tools

Codec 中增加并改进了对于屏幕内容（其内容多为如 Word、Excel、PPT 等计算机生成的图形，文字等，具有重复纹理多，色彩分布较离散，无噪声等特点）特别适合的 Coding Tools 如 Intra Block Copy (Current Picture Reference)，Transform Skip 等，显著提升了屏幕内容的压缩效率，可以做到相对于原 Codec，对于屏幕内容视频相同质量下平均可以节省带宽 20