3D人脸重建算法汇总

前言

本文首发于公众号【3D视觉工坊】，原文请见3D人脸重建算法，更多干货获取请关注公众号~

1、Nonlinear 3D Face Morphable Model（2018）

论文链接：https://arxiv.org/abs/1804.03786
项目链接：http://cvlab.cse.msu.edu/project-nonlinear-3dmm.html

主要思想：三维变形模型（3DMM）作为一种经典的三维人脸形状和纹理统计模型，在人脸分析、模型拟合、图像合成等领域有着广泛的应用。传统的3DMM是从一组控制良好的2D人脸图像中学习到的，并通过两组PCA基函数来表示。由于训练数据的类型和数量以及线性基的存在，使得3DMM的表示能力受到限制。针对这些问题，本文提出了一种新的框架，在不采集三维人脸扫描数据的情况下，从大量无约束的人脸图像中学习非线性3DMM模型，具体地说，在给定人脸图像作为输入的情况下，网络编码器估计投影、形状和纹理参数。两个解码器作为非线性3DMM分别从形状和纹理参数映射到三维形状和纹理。利用投影参数、三维形状和纹理，设计了一种新的解析可微绘制层来重建原始输入人脸。整个网络是端到端培训，只有薄弱的监督。我们证明了非线性3DMM比线性3DMM具有更好的表现力，以及它对人脸对齐和三维重建的贡献。

主要贡献：
1、 我们学习了一个非线性3DMM模型，它比传统的线性模型具有更大的表示能力。
2、 我们通过弱监控，利用大量没有三维扫描的二维图像，共同学习模型和模型拟合算法。新的渲染层实现了端到端的训练。
3、 新的3DMM进一步提高了相关任务的性能：人脸对齐和人脸重建

主要结构：

实验结果：

2、On Learning 3D Face Morphable Model from In-the-wild Images（2019）

论文链接：https://arxiv.org/abs/1808.09560
项目链接：http://cvlab.cse.msu.edu/project-nonlinear-3dmm.html

本篇和Nonlinear 3D Face Morphable Model是同一作者，在原有文章的基础做了相关提升和改进~

主要思想：三维变形模型（3DMM）作为一种经典的三维人脸形状和反照率的统计模型，在人脸分析、模型拟合、图像合成等方面有着广泛的应用。传统的3DMM是从一组具有良好控制的二维人脸图像的三维人脸扫描中学习而来，并由两组PCA基函数表示。由于训练数据的类型和数量以及线性基的存在，使得3DMM的表示能力受到限制。为了解决这些问题，本文提出了一个新的框架，在不采集三维人脸扫描的情况下，从大量的新的原始人脸图像中学习非线性3DMM模型。具体地说，给定一个人脸图像作为输入，网络编码器估计投影、光照、形状和反照率参数。两个解码器作为非线性3DMM分别从形状和反照率参数映射到三维形状和反照率。利用投影参数、光照、三维形状和反照率，设计了一种新的解析可微渲染层来重建原始输入人脸。整个网络是端到端培训，只有薄弱的监督。展示了非线性3DMM相对于线性3DMM的优越表现力，以及它对人脸对齐、三维重建和人脸编辑的贡献。

主要创新：
1、 我们学习了一个非线性的3DMM模型，它完全模拟了形状、反照率和光照，比传统的线性模型具有更大的表示能力。
2、 形状和反照率都表示为二维图像，这有助于保持空间关系，并在图像合成中利用CNN的优势。
3、 我们通过弱监督联合学习模型和模型拟合算法，利用大量未经三维扫描的二维图像，并且新的渲染层实现了端到端的训练。
4、 新的3DMM进一步提高了人脸对齐、人脸重建和人脸编辑相