58、视频渲染技术的应用与发展

视频渲染技术的应用与发展

1. 基于视频的渲染基础

在视频渲染领域，早期Bregler、Covell和Slaney等人在1997年提出了一种系统。他们先采用语音识别技术，从源视频素材和新音频流中提取音素。由于音素组合成三音素（音素三元组）能更好地模拟人们说话时的协同发音效果，所以会将音素进行这样的分组。接着在源素材和音轨中寻找匹配的三音素，把对应视频帧的嘴部图像裁剪并粘贴到需要重新动画化或配音的视频素材中，同时进行适当的几何变换以适应头部运动。在分析阶段，利用计算机视觉技术跟踪嘴唇、下巴和头部的特征；在合成阶段，使用图像变形技术将相邻的嘴部形状融合成更连贯的整体。后来，Ezzat、Geiger和Poggio等人在2002年描述了如何使用多维可变形模型结合正则化轨迹合成来改进这些结果。

还有一种更复杂的系统——面部转移，它使用新的源视频而非仅仅音频轨道来驱动之前捕获视频的动画，即重新渲染带有适当视觉语音、表情和头部姿势元素的说话头部视频。传统的基于表演的动画系统常使用基于标记的运动捕捉，而现在视频素材常被直接用于控制动画。

基于视频的动画不仅常用于面部动画，还可应用于全身运动，例如通过匹配两个不同源视频之间的流场，用一个视频驱动另一个视频。另一种基于视频的渲染方法是使用流或3D建模将表面纹理展开成稳定的图像，然后对其进行操作并重新渲染到原始视频上。

2. 视频纹理

视频纹理的概念是将短视频片段通过重新排列视频帧来任意扩展，同时保持视觉连续性。创建视频纹理的基本问题是如何在不引入视觉伪影的情况下进行这种重新排列。

最简单的方法是通过视觉相似性（如L2距离）匹配帧，并在相似的帧之间跳转。但如果两帧中的运动不同，会出现明显的