7、时间多媒体同步原理的演变

时间多媒体同步原理的演变

1. 多媒体同步概述

自19世纪世界上第一部电话发明以来，多媒体应用的发展极大地改变了人类的生活和行为方式，同时也对多媒体同步提出了新的要求。多媒体同步主要分为时间同步和空间同步两类。时间同步要求多媒体数据根据其原始时间属性进行呈现，例如同时由相机和麦克风捕获的电影画面和音频样本，必须在相应的输出设备上同步呈现。空间同步则要求媒体数据根据其上下文关联在每个时间点进行布局对齐，比如在演示幻灯片的前两秒内，两张图片必须分别出现在左右两侧。由于多媒体应用对时间敏感，现有同步研究大多集中在时间同步上。

时间同步适用于连续和离散多媒体数据。连续多媒体是指由一个或多个传感设备随时间生成的时间相关媒体数据包序列，如视频、音频和触觉数据。离散多媒体则是静态媒体数据的集合，如单张图像和文本，或独立的媒体事件，其同步只需保留其时间顺序，因此也称为事件同步。本文主要关注连续多媒体的时间同步问题。

连续多媒体系统的配置可以用多种形式的媒体组件表示，每个组件都需要单独的时间同步。然而，由于互联网延迟和计算需求的变化，源传感设备上的原始时间依赖关系在媒体计算和分发的多个位置可能会丢失，导致媒体数据在最终呈现时不同步，这种现象被称为失同步。失同步会对人类感知产生负面影响，并且根据应用功能的不同，单个多媒体系统在同步方面可能表现出不同的需求，从而在不同程度上影响用户体验。

传统多媒体应用（如2D视频会议、视频点播、视频广播等）已经面临多媒体同步问题。而下一代多媒体系统（如3D远程沉浸、虚拟现实和物联网）使用多模态多通道传感器为用户提供沉浸式和真实的体验，其硬件配置更加复杂，应用功能更加多样化，计算和网络资源消耗也更大，因此在这些系统中保持媒体数据的时间相关性成为了更