A 3D Morphable Model learnt from 10,000 faces 论文阅读笔记

Abstract

我们提出了大规模面部模型（LSFM）——一种从9663个不同面部身份自动构建的3D形态模型（3DMM）。据我们所知，LSFM是迄今为止构建的最大规模的形态模型，包含了来自广泛人群的统计信息。为了构建如此庞大的模型，我们引入了一种全新的全自动且健壮的形态模型构建流程。LSFM所依赖的数据集包括了每个受试者的丰富人口统计信息，不仅允许我们构建全球性的3DMM，还可以定制特定年龄、性别或种族群体的模型。作为一个应用示例，我们使用提出的模型仅从3D形状进行年龄分类。此外，我们对构建的3DMM进行了系统分析，展示了它们的质量和描述能力。所呈现的广泛定性和定量评估表明，提出的3DMM实现了最先进的结果，大幅超越了现有模型。最后，为了研究社区的利益，我们公开了提出的自动3DMM构建流程的源代码。此外，构建的全球3DMM和根据年龄、性别和种族定制的各种特定模型，也可供从事医学研究的研究人员申请使用。

这篇论文主要介绍了一个基于三维形变模型（3DMM）的研究，这是一个利用大规模数据集从10,000张人脸中自动学习得到的模型。这项工作旨在推动3D人脸建模技术的发展，并在多个领域中实现应用。以下是对论文的具体内容和主要贡献的详细解释：

大规模面部模型（LSFM）

研究团队构建了一个名为大规模面部模型（LSFM）的3D形变模型，这是迄今为止建立的规模最大、信息最丰富的3D人脸模型之一。LSFM是从9,663个不同个体的面部数据自动构建的，包含了广泛的人种、年龄和性别变化，这些面部数据是从一个名为MeIn3D的数据库中获取的。

LSFM（Large Scale Facial Model）是一个基于大规模数据集构建的3D形变模型（3D Morphable Model, 3DMM），其构建过程包含了几个关键步骤，旨在创建一个能够准确代表广泛人群面部特征的模型。下面详细介绍这一构建过程：

1. 数据收集

LSFM模型的构建首先从收集大规模的3D面部扫描数据开始。这些数据来源于多种人群，包括不同的年龄、性别和种族。每个被扫描的个体的面部都被精确地捕捉，并记录下相关的人口统计信息，如年龄、性别和种族背景。

2. 3D地标定位

在所有3D面部数据中自动定位关键地标是LSFM构建过程中的第一步。这一步通常涉及到先进的图像处理和机器学习技术，目的是在每个3D扫描中识别出特定的解剖标记点，如眼睛、鼻子和嘴巴的位置。这些地标帮助后续的步骤在几何上对齐不同的面部模型。

3. 密集对应估计

有了地标后，下一步是在所有3D扫描之间建立密集对应关系。这通常通过一种称为非刚性迭代最近点（NICP）算法来完成。该算法能够调整和变形每个面部扫描，使之与一个共同的模板或平均面部对齐。此过程确保了所有数据在结构和拓扑上的一致性，为统计分析奠定了基础。

非刚性迭代最近点（Non-rigid Iterative Closest Point，简称 NICP）算法是一种用于对齐和注册形状的技术，特别适用于处理三维表面数据。这种算法是基于传统的迭代最近点（Iterative Closest Point，ICP）算法的改进版本，后者主要用于在刚性变换（例如旋转和平移）的约束下对齐两个形状或数据集

4. 主成分分析（PCA）

一旦所有面部数据被对齐，下一步就是使用主成分分析（PCA）来从这些对齐后的数据中提取出最重要的特征和模式。PCA分析通过识别数据中的主要变化方向来减少数据的维度，从而生成一个更简洁的、低维的面部形状模型。这个模型能够通过少量的参数来描述广泛的人脸形状变异。

5. 模型细化和验证

在PCA提取出主要特征后，模型会进行进一步的细化，以确保其可以准确地代表原始数据集中的面部多样性。此阶段可能包括排除那些在地标定位或密集对应过程中出现错误的数据实例。最终，构建的3DMM将在各种测试数据集上进行验证，以评估其性能和准确性。

6. 定制模型构建

除了全球通用的LSFM模型外，还可以利用详细的人口统计数据构建针对特定年龄、性别或种族的定制模型。这些模型更精确地反映了特定人群的面部特征，对于定向的研究和应用非常有价值。

自动化的3DMM构建流程

文章详细介绍了一个全新的、完全自动化的3DMM构建流程。这一流程包括：

1. 3D地标定位：通过先进的算法自动定位面部的关键地标。
2. 密集对应估计：使用非刚性迭代最近点（NICP）算法，自动处理大量面部数据，以确保所有数据在几何和结构上保持一致性。
3. 基于PCA的模型构建：利用主成分分析（PCA）处理对齐后的数据，生成可以描述人脸多样性的数学模型。

应用与评估

• 年龄分类：论文展示了如何仅使用3D面部形状数据进行年龄分类，展示了LSFM模型在这方面的应用潜力。
• 模型评估：通过一系列定量和定性的实验，研究团队评估了LSFM模型的性能，证明了其在描述面部形状多样性方面相比现有技术的显著优势。

实验内容

1. 年龄分类性能测试

   • 目的：使用LSFM模型根据3D面部形状进行年龄分类，以测试模型在解析面部形状信息方面的有效性。
   • 方法：利用模型对一组包含不同年龄组人脸的数据集进行分类，评估模型对年龄特征的识别能力。

2. 系统分析

   • 目的：系统性评估构建的3DMM以展示其质量和描述力。
   • 方法：通过定性和定量分析来评估模型能够表达和复现面部形状的能力，可能包括面部对称性、细节重现等方面。

3. 质量对比测试

   • 目的：将LSFM与现有的3DMM进行对比，验证其在面部识别和性别估计任务上的优越性。
   • 方法：选择性能基准（如Labeled Faces in the Wild (LFW)和Adience基准）上的面部识别和性别估计任务，比较LSFM与其他模型的效果。

实验结果

1. 年龄分类

   • LSFM在年龄分类任务中显示出了较高的准确率，这证明了其在捕捉和表现面部年龄特征方面的有效性。这些结果表明，即使在复杂和多样化的数据集中，该模型也能准确识别不同年龄段的面部。

2. 系统分析

   • 定性分析显示，LSFM能够产生高质量的面部图像，面部特征如眼睛、鼻子和嘴巴的位置准确无误，对称性良好，细节保留完整。
   • 定量分析中，模型的统计评估指标（如形状重现精度）超过了现有技术，展示了其卓越的描述能力。

3. 质量对比测试

   • 在面部识别和性别估计任务中，LSFM比现有模型表现出显著优势，尤其是在处理极端姿态和复杂光照条件下的面部时。例如，使用LSFM在LFW和Adience基准上的测试结果均优于其他模型，显示出更高的识别准确率和更低的误识率。

这篇论文在三维形态建模领域内推动了技术和应用的边界，通过提供创新的方法和工具，为未来的研究和实际应用奠定了基础。