CVPR_2020_AvatarMe: Realistically Renderable 3D Facial Reconstruction “in-the-wild”

名词解释

在讲解这篇文章之前，有几个名词需要解释一下。

漫反射：当光照照射到表面的某个点上时，会在物体内部四处反弹，其中一部分会被吸收，余下的会向各个方向散射并返回表面，这就是漫反射。

漫反射反照率：漫反射光照由光照颜色和漫反射反照率计算得到。

环境光照：就是间接光量。我们在真实世界中所看到最多的是间接光。例如：从屋子里的光源能够将走廊照亮。物体的阴影处虽然比较暗但不是完全的黑色等等。

镜面光照：镜面反射叫成了镜面光照。

in-the-wild：在任意记录条件下捕捉到的图像。

摘要

AvatarMe，这是第一种能够从单一的“野外”图像中重建逼真的3D人脸的方法，并且具有越来越高的细节水平。为了实现这一点，我们捕获了一个大的面部形状和反射数据集，并建立在最先进的3D纹理和形状重建方法上，并依次细化其结果，同时生成逐像素的漫反射和镜面组件，这是真实渲染所需的。正如我们在一系列定性和定量实验中所证明的那样，AvatarMe在很大程度上超越了现有的技术，从一张低分辨率图像中重建了真实的4K到6k分辨率的3D人脸。

相关工作

面部几何和反射捕捉

在这项工作中，我们采用了两种最先进的基于主动光照的多视图人脸捕获方法来获取高质量的人脸反射数据，以构建我们的训练数据。

图像到图像的转换

在这项工作中，我们利用pix2pixHD的变化来执行任务，如去光和提取非常高分辨率的反射率地图。

逼真的3D人脸与深度学习

在这项工作中，我们试图通过使用在[14]中提出的迭代优化框架来克服这些限制。该优化策略将深度人脸识别网络和gan融入到传统的拟合方法中，以估计具有良好身份特征的高质量几何和纹理，然后用于生成高质量的反射率图。

训练数据

真值获取

我们使用最先进的方法来捕捉高分辨率的孔隙水平的面部反射率图，使用一个偏振光LED球168灯(分成两个偏振组)和9个单反相机。球体上一半的led是垂直偏振(平行偏振)的，另一半是水平偏振(交叉偏振)的交错模式。使用LED球，我们还可以使用来自非偏振LED的色彩空间分析进行漫反射分离，以及[24]的多视图面部捕捉方法来获得类似质量的未包装纹理。这种方法只需要不到一半的数据捕获(因此减少了捕获时间)和一个更简单的设置(没有偏振器)，从而能够获得更大的数据集。

数据收集

在这项工作中，我们捕捉了超过200个不同年龄和特征的人在7种不同表情下的面孔。几何重建被注册到一个标准的拓扑，与未包装的纹理，如图3所示。我们将数据集命名为RealFaceDB。这是目前这类数据中最大的数据集，我们打算将其公开提供给科学界。