face论文翻译--3D Face Morphable Models “In-the-Wild”

最新推荐文章于 2024-12-08 22:23:04 发布

原创

最新推荐文章于 2024-12-08 22:23:04 发布 · 5.3k 阅读

10 ·

CC 4.0 BY-SA版权

本文提出了一个用于“在野外”3D人脸识别的3D Morphable Model，结合面部特征和表情，创建了一个无需光照参数优化的统计纹理模型。通过新算法快速拟合3DMMs，实现对无约束条件下捕获的人脸的三维重建，该方法在新收集的3D人脸数据库中得到验证，展示了优秀的定量和定性结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

3D Face Morphable Models “In-the-Wild”

Abstract

3D Morphable模型(3DMMs)是三维人脸形状和纹理的有力统计模型，也是从单个图像重建面部形状的方法。随着新的3D传感器的出现，许多三维人脸数据集已经被收集，既包括中性，也包含有表情的面孔。但是，所有数据集都是在受控条件下捕获的。因此，即使能从这些数据中学习到强大的3D人脸模型，也很难建立足够的统计纹理模型来重建在无约束条件下捕获的人脸(“in-the-wild”)。在本文中，我们通过结合一个强有力的面部形态的统计模型，将面部轮廓的特征和表达方式结合在一起，提出了一种“在野外”的3DMM，并采用了“In -the-wild”纹理模型。我们证明了这种“in-thewild”纹理模型的使用极大地简化了拟合过程，因为没有必要对光照参数进行优化。此外，我们提出了一种新的快速算法，用于在任意图像中拟合3DMM。最后，我们以相对无约束的条件捕获了第一个3D人脸数据库，并以最先进的性能报告了定量评价。在标准的“野外”面部数据库中展示了互补的定性重建结果。

1. Introduction

在过去的几年里，我们在人脸检测和二维人脸地标定位等各种人脸分析任务上都取得了显著的进步。这主要是因为社区已经作出了相当大的努力来收集和注释在无约束条件下捕获的面部图像(通常被称为“in-the-wild”)，以及可以利用大量数据的讨论性的方法。然而，由于缺乏地面真实数据，识别技术不能用于三维人脸形状估计。

在过去的二十年中，从单个图像中得到的三维人脸形状估计已经引起了许多研究者的关注。研究的两大主线是(i)拟合3D模型(3DMM)和(ii)从阴影(SfS)技术中应用形状。在Blanz和Vetter的工作中提出的3DMM拟合是第一个基于模型的3D人脸恢复方法。该方法要求在有显式通信的空间中建立一个三维的面部纹理和形状的统计模型。第一个3DMM是使用在良好控制的条件下捕获的200个面，只显示中性的表达式。这就是为什么这种方法只能在现实世界中使用，而不是“在野外”的图像。最先进的SfS技术利用特殊的多线性分解，找到一个近似的球形谐波分解的照明。此外，为了从大量的“野外”图像中获益，这些方法共同重建了大量的图像集合。然而，即使结果很有趣，因为在面部表面没有之前，这些方法只能恢复面部的2.5D表示，特别是面部法线的平滑近似。

在“in-the-wild”条件下，从单一图像恢复到三维面部形态仍然是计算机视觉中一个开放性和挑战性的问题，主要原因是:

• 从单个图像中提取三维面部形状的一般问题是一个病态的问题，这是众所周知的难以解决的问题，没有使用任何统计先验的形状和纹理的脸。也就是说，如果不事先知道物体的形状，就会发现问题中存在固有的模糊性。图像中位置的像素强度是物体的基础形状、表面反射率和正常特征、相机参数以及场景照明和其他物体的排列组合的结果。因此，对于这个问题，可能有无限的解决方案。