HR_Reborn的博客

1、abstract本文由普林斯顿大学、谷歌和麻省理工学院合作完成，是 CVPR 2018 的 spotlight 文章。使用无监督训练的方法基于 3DMM 进行人脸三维重建。论文基于编码器和解码器模型，创新性地将人脸识别网络引入训练的损失函数，使得生成的 3D 人脸能很好地保留了输入图片的人脸个体特征。该模型旨在拟合形状和纹理，并没有学习姿态表情和光照。算法的编码器接受图像作为输入，输出用于 3DMM 模型的参数。解码器接受参数后合成 3D 人脸。为了使网络不仅能保持个体信息，还能生成自然真实的人脸，

论文链接：https://arxiv.org/pdf/2003.05653.pdfAbstract首先肯定了3DMM 从单视图图片重建人脸的巨大成功，然后点出了存在的不足——面部纹理失真，然后介绍了近几年的研究方向向使用从面部纹理的高分辨率 UV map的大规模数据库训练的生成网络恢复高质量面部纹理，但是这些网络是不公开的，并且难以复现，本文提出了从in-the-wild单视图图像重建具有高保真度的3D人脸，而无需捕获大规模人脸纹理数据库。主要思想是使用输入图像中的面部细节改进由基于 3DMM 的.

1、摘要总结了过去人脸重建的趋势（深度卷积的力量神经网络（DCNN）），和最近几年可微渲染器来学习面部身份特征与 3D 可变形模型的形状和纹理参数之间的关系。但这些都无法高质量的重建纹理和高保真度，介绍了论文利用生成对抗网络 (GAN) 和DCNNs 来从单个图像重建面部纹理和形状。2、Introduction过去：主要的研究方向，利用深度卷积神经网络进行3D形状和纹理重建，包含的两种方法：1训练回归DCNN从图像到3DMM的参数，2使用一个3DMM来合成图像并且定制一个使用DCNN估计深度的i

1、传统线性3DMM：模型和纹理分别是平均值+基础值*系数——S = S¯ + Aα,T (l) = T¯(l) + Bβ,此为3DMM的基础。并且提出了将 3D 人脸投影到图像平面上使用弱透视投影模型（3D转为2D透视投影模型）：g(α, m)：3D顶点位置在2D中的函数输出 f：比例因子 ：正交投影矩阵 R：欧拉角表示旋转角度 t2d：平移向量 M ：有维度2×4，有六个自由度，通过一个 6 维向量 m来参数化。 然后使用 2D 图像渲染纹理和照明模型。2、非线性3DM.