28、实时通信中MediaSync以用户为中心的评估方法

实时通信中MediaSync以用户为中心的评估方法

1. 引言

为给实时通信系统的用户提供满意体验，有两个主要要求：一是端点间的传播时间要尽可能短，理想情况是不超过几十毫秒；二是音频和视频的相对延迟要非常小。但在实际中，这些要求并非总能达成，本文将探讨未满足这些要求的影响，尤其关注其中的人为因素。

在进行系统评估时，了解影响延迟的因素很重要，如系统环境和用户期望。通常，应用越复杂，评估难度越大。例如，网络广播是简单情况，只有一个单向流，用户期望能流畅收听内容，端到端延迟基本无关紧要，也无其他同步需求。而增加更多感官通道（如视频或触觉数据）会使复杂度增加，因为要确保各通道间正确同步，在视听系统中这常被称为“唇同步”。已有研究表明，在电视屏幕上，音频和视频可察觉的延迟阈值约为 +45 毫秒至 -125 毫秒，可接受的延迟阈值约为 +90 毫秒至 -185 毫秒（正值表示声音相对画面提前）。

实时交互式通信更为复杂，是本文重点。远程交流已很普遍，但电信系统无法完全替代面对面交流，参与者会根据会议系统特点调整行为，且这一行为受文化、个性、环境等多种因素影响。在其他应用领域，如交互式音乐表演，精确计时更为重要。

2. 影响延迟的因素

实时通信中，延迟的影响受多种因素制约，当前的用户体验质量（QoE）分析模型将这些因素分为系统因素、用户因素和环境因素三类。

2.1 系统因素

系统因素涵盖系统或服务的技术层面。在视听电信应用中，典型因素包括音频表示（编码、频谱）、视频表示（分辨率、帧率、编码）以及网络传输的影响（带宽、丢包、延迟、抖动、同步）。虽然本文聚焦延迟和同步，但音频和视频编码、丢包等系统因素也会影响