论文笔记(1):单幅图像的三维人脸重建与密集人脸对齐（2DASL）

论文题目：《Joint 3D Face Reconstruction and Dense Face Alignment from A Single Image with 2D-Assisted Self-Supervised Learning》

 

最近的基于学习的3D face重建方法通常旨在学习基于CNN的3D面部模型，其从2D图像回归3DMM的系数以渲染3D面部重建或密集面部对齐。 然而，带有3D注释（3DMM系数）的训练数据的不足大大限制了这些方法的性能。为了缓解这个问题，此论文提出了一种新颖的2D辅助自监督学习（2DASL）方法，该方法利用2D“in-the-wild”人脸图像来有效地监督和促进3D人脸模型学习。

在讨论具体内容前先来看论文的一些成果。

论文中对齐的结果和3D重建结果示例：

 在一些极端的例子中，该算法的对齐效果也很不错：

 

在3D人脸对齐方面该算法取得了目前的最高精度，超越PRNet。如下图：

 在人脸3D重建方面，与以前算法相比也取得了高质量的重建结果：

 1.总览

本文的一个主要出发点就是解决带有3D注释的训练数据的不足的问题，针对这个问题2DASL引入了四种新颖的自监督方案，将2D特征点和3D特征点预测视为自映射过程，包括2D和3D特征点自预测一致性、2D特征点预测的循环一致性和基于特征点预测的3DMM系数预测自评估（self-critic）。使用这四种自监督方案，2DASL方法显著减轻了对传统配对2D到3D注释的要求，并提供了更高质量的3D面部模型，而无需任何额外的3D注释。

2.论文细节

2.1算法流程

 从这张图可以看到，整个框架包含三个模块，1）第一个模块采用了传统的基于CNN的回归网络，使用的是ResNet-50深度网络。此模块根据输入图像回归3DMM系数。输入是4通道，一个3通道的RGB图像，一个1通道的2D Facial Landmark Map (FLM)，FLM就是一张图像，对应于面部特征点的位置的值为1，其他位置的值为-1。2&#