人脸关键点对齐：Pose-Invariant Face Alignment via CNN-Based Dense 3D Model Fitting 论文解析

1.摘要部分

1.为什么要提出姿态不变的人脸对齐

姿态不变的人脸对齐在CV中占据着非常重要的地位，在脸部分析中人脸对齐是一个首要必备的条件。例如人脸重建，表情重建和3D人脸重建。

2.论文中提出的方法

在这篇Paper中，大神提出了使用3DMM匹配算法并用C-CNN回归相机投影矩阵参数（m），以及3DMM的shape参数（p）以及提供了镜像约束作为loss函数。

2. Introduction部分

这部分就简单的写写了，大家可以自己认真的阅读一下！
这里面介绍了ASM，AAM和级联回归方法的2D关键点对齐的方法

参考.

ASM,AAM
AAM,CLM

级联回归

级联回归的方法始于 P Dollar大神在CVPR2010的论文Cascaded pose regression，通过级联回归的方法来预测物体的形状。
对于人脸特征点定位，人脸关键点检测的目的是估计向量(Facial Shape) ，其中K表示关键点的个数，由于每个关键点有横纵两个坐标，所以S的长度为2K。对于一个输入 I , 给定一个初始形状 (通常是在训练集计算得到的平均形状)。每一级输出的是根据输入图像得到的偏移估计，那么每一级都会更准确的预测脸上 Landmark 的位置
在这里插入图片描述
其中，S^t 和 S^{t+1} 分别表示第和级预测的人脸形状(即所有关键点集合)，表示回归函数。
在级联形状回归的框架下，主要的操作是向量相加，不仅有效而且计算复杂度较低，所以近年来得到了广泛的应用，并产生了很多改进算法，其主要不同点在于特征提取方法以及回归函数的选择不同。值得一提的是，级联回归对与正脸或接近正脸的定位精度相对较高，而对于大姿态下的关键点定位效果相对较差。
引用链接：https://www.jianshu.com/p/e4b9317a817f

3DMM

这里还提到一些3DMM的知识
参考:
3DMM

作者的贡献

We summarize the main contributions of this work as:
• Pose-invariant face alignment by fitting a dense 3DMM,and integrating estimation of 3D shape and 2D facial landmarks from a single face image.
• The cascaded CNN-based 3D face model fitting algorithm that is applicable to all poses, with integrated landmark marching and contribution from local appearances around cheek landmarks during the fitting process.
• Dense 3D face-enabled pose-invariant local features and utilizing person-specific surface normals to estimate the visibility of landmarks.
• A novel CNN architecture with mirrorability constraint that minimizes the difference of face alignment results of a face image and its mirror.

简单的解释一下：
1.通过拟合一个稠密的3DMM模型，并从单个人脸图像中综合估计三维形状和二维人脸关键点，实现了位置不变的人脸对齐。
2.基于cnn的级联3DMM人脸模型拟合算法适用于所有的姿势，在拟合过程中集成了关键点跟踪和对局部脸颊的拟合过程中的贡献。
3.密集的三维人脸支持位置不变的局部特征，利用独特的人脸表面法线估计关键点的可见性
4.新颖的CNN架构以及镜像约束LOSS，将人脸图像和镜像比对结果的差异最小化。

3.3D face Alignment

在这里插入图片描述

（1）3D坐标和2D坐标的生成

这就是本文大神作者提出的方法的过程:
(1).首先给出2D图像通过3DMM的身份基（ identity basis）和表情基（ expression basis）并且通过下面的公式生成3D人脸 $S=S_0+\sum_{i=1}^{N_{id}}P_{id}^iS_{id}^i+\sum_{i=1}^{N_{exp}}P_{exp}^iS_{exp}^i$

where S is the 3D shape matrix, $S_0$ is the mean shape, $S_{id}^i$ is the i th identity basis, $S_{exp}^i$