人脸论文解读系列——三维人脸重建（二）

最新推荐文章于 2025-10-22 14:36:36 发布

原创

最新推荐文章于 2025-10-22 14:36:36 发布 · 3.1k 阅读

21 ·

CC 4.0 BY-SA版权

文章标签：

#三维人脸重建 #人脸识别 #三维重建 #论文翻译

本文介绍了一种利用无约束照片集进行自适应三维人脸重建的方法，适用于低质量和少量图像的情况。通过形变模型生成个性化模板，结合光度立体技术估计法线，进而重建精细人脸模型。实验表明该方法在重建精度上优于以往工作。

基于无约束照片集的自适应三维人脸重建

《Adaptive 3D Face Reconstruction from Unconstrained Photo Collections》

文章来源：IEEE Computer Vision and Pattern Recognition (CVPR 2016)

文章链接：http://openaccess.thecvf.com/content_cvpr_2016/papers/Roth_Adaptive_3D_Face_CVPR_2016_paper.pdf

github：https://github.com/CWBARSA/face_Papers/blob/master/Adaptive%203D%20Face%20Reconstruction%20from%20Unconstrained%20Photo%20Collections_Roth.pdf

文章引用：Roth J , Tong Y , Liu X . Adaptive 3D Face Reconstruction from Unconstrained Photo Collections[C]// Proc. IEEE Computer Vision and Pattern Recognition (CVPR 2016). IEEE, 2016.

本文提出了一种利用反照率信息重建三维人脸模型的方法，即使在较少图像的低质量照片集中，该方法也能适用。本文通过拟合3D变形模型以形成个性化模板，并在从粗到细的方案下开发新的光度立体公式来实现这一点。该方法的核心步骤：1）利用形变模型模板生成初始粗糙的人脸模板；2）使用光度立体技术（Photometric Stereo）为基础的方法估计个体的表面法线；3）使用估计的法线重建一个精细的人脸模型。

算法流程图：

一、数据准备和预处理

1、照片集合是包含个人面部的一组n张图像，并且可以用多种方式获得，例如，搜索名人的Google图像或个人照片集合。

2、从图像中检测和裁剪面部。本文使用Bob（一个用来信号处理和机器学习的工具箱）中内置的人脸检测模型，该模型在多种人脸数据集（如CMU-PIE）上训练，包括轮廓视图人脸。

3、给定人脸边界框，我们将图像转换为强度通道，并在人脸边界框之外裁剪，以确保包括整个人脸。为了估算二维坐标，我们采用最新的回归器级联方法将68个坐标自动拟合到每个图像上。

二、生成初始人脸模板

通过形变模型库生成一个初始的粗糙人脸模型：

003

其中 $\large \overline{X}$ 是平均模型， $\large X^{id}_{k}$ 和 $\large X^{exp}_{k}$ 分别为形状和表情分量，通过矩阵奇异值分解获取； $\large \alpha ^{id}_{k}$ 和 $\large \alpha ^{exp}_{k}$ 分别为形状系数和表情系数。