15、基于模型的面部建模、跟踪及视频会议应用

基于模型的面部建模、跟踪及视频会议应用

1. 引言

动画面部模型在计算机游戏、电影制作、在线聊天、虚拟呈现和视频会议等领域至关重要。生成逼真的 3D 人脸模型和面部动画一直是计算机视觉和图形学领域的挑战。目前，市面上流行的工具多使用激光扫描仪或结构光，但这些扫描仪不仅昂贵，而且数据通常噪声较大，在对模型进行动画处理之前需要手动修饰和注册。随着廉价计算机和相机的普及，人们对直接从视频图像生成面部模型产生了浓厚兴趣。然而，现有的技术要么需要大量手动操作，要么计算成本高昂。

我们的目标是开发一个易于使用且经济高效的系统，该系统能在几分钟内，以最少的用户交互从视频中构建带纹理的 3D 动画面部模型。用户界面非常简单：
1. 用户在大约 5 秒内将头部从一侧转向另一侧，同时系统捕获视频序列。
2. 用户浏览视频，选择一个正面面部的帧。该帧及其相邻帧（称为两个基础图像）会弹出，用户在每个图像上标记 5 个特征点（眼角、鼻尖和嘴角）。用户还可以选择在正面视图图像的下巴下方标记 3 个点。

完成这些手动步骤后，程序会在不到一分钟的时间内生成一个与用户面部和结构相同的 3D 模型，并在屏幕上显示并“问候”用户。自动处理过程对用户是不可见的，它会匹配图像中的兴趣点，确定头部运动，在 3D 空间中重建面部，并从图像中构建逼真的纹理映射。该系统使用了许多先进的计算机视觉和图形技术，以及我们专门为面部建模开发的创新技术。

从被动视频图像进行面部建模的关键挑战在于，由于皮肤纹理的明显缺乏，难以在图像之间建立准确可靠的对应关系。此外，我们选择的系统设置还带来了面部外观变化的挑战。为了获取头部的多个视图，我们让用户转动头部，而不是移动相机或使用多个相机，这大大降低了成本，