6、单目视频序列的3D人脸建模方法

单目视频序列的3D人脸建模方法

1 引言

从视频序列构建3D人脸模型是计算机视觉领域的一项具有挑战性的问题。成功解决这一问题在多媒体、计算机图形学和人脸识别等领域都有重要应用。在多媒体方面，3D人脸模型可用于视频会议应用，实现高效传输；在计算机图形学应用中，它是添加面部运动和表情的基础构建模块；将3D模型融入人脸识别系统，可以有效解决因姿态、光照和表情变化而产生的问题。

目前大多数商业系统在解决3D人脸重建问题时，会利用额外信息来进行约束，如使用多台相机获取深度估计、向面部投射激光或其他图案、用特殊纹理装饰面部以简化帧间对应关系，或使用结构化光来揭示面部轮廓。然而，这些约束和所需的特殊硬件降低了系统的操作灵活性。

此前已有众多研究者针对3D人脸建模展开研究，采用了多种不同的方法，如扩展卡尔曼滤波器、线性组合基础形状、基于因子分解的方法、自校准方法等。常见的单目视频3D重建方法之一是运动恢复结构（SfM），其基本思想是从图像间的2D点对应关系中恢复刚性物体上3D点的结构，或从光流中恢复密集深度图。也有研究者提出使用通用模型来解决3D人脸建模问题，还有基于外观的方法、从轮廓恢复形状的方法以及基于剪影的形状恢复技术等。

接下来会介绍两种从单目视频序列进行3D人脸建模的方法。第一种方法采用多帧SfM方法得到人脸模型的初始估计，然后通过与通用人脸模型比较来修正估计中的误差，同时对输入视频进行统计质量评估，并在SfM算法框架内补偿质量波动。第二种方法则是将通用3D人脸模型与待建模人脸的外轮廓和一些内部特征进行匹配，利用轮廓将人类头部的几何细节与阴影和纹理变化区分开来，通过对视频序列的所有帧进行通用人脸模型的适配，生成在一系列姿态变化下都准确的3D模型。