人脸对齐介绍

转自：https://cloud.tencent.com/community/article/532672

一、 人脸对齐，也叫做人脸特征点检测，图为人脸特征点例子

二、 人脸对齐有哪些应用？

1 五官定位

2 表情识别

3 人脸漫画、素描生成

4 增强现实

5 换脸

6 3D建模

三、 人脸对齐的任务

给定人脸区域 i，从该区域出发, 根据一定的规则 F，找到特征点位置 x。即：x = F(i)

所以， 人脸对齐算法便是设计函数(规则)F， F的优劣变体现在拟合效果、运行效率、参数存储空间、泛化能力(即适应数据集以外的人脸，比如真实环境下的人脸)。

上图是ASM的拟合过程， 人脸对齐算法通常都是从一个标准形状开始迭代，逐渐收敛。

四、 当前有哪些对齐算法？

传统方法

1 基于人脸形状建模

可变形模板（Deformable Template）、点分布模型（主动形状模型Active Shape Model）、图模型、级联形状回归模型等。

2 基于人脸表观建模

分为两类，一是对全局纹理建模，这里全局是指整张脸，主要有AAM等；一种对局部纹理进行建模，有颜色模型、投影模型等。

这里重点说明下基于级联形状回归模型框架的算法，因为近几年出现的很多比较好的算法都属于该框架下的。比如SDM、LBF、DRMF等。级联形状回归模型通过学习一个嵌套函数从而形成多层来逼近F。

x = F( f1( f2( ... fn(x0, i) ) ) )

后续会详细介绍级联形状回归模型级联形状回归模型框架以及相关框架

深度网络模型

前面提到的fi 都是用传统的机器学习方法设计的， 目前已出现基于深度网络模型来设计fi的算法， 比如卷积神经网络（CNN）、深度自编码器（DAE）和受限玻尔兹曼机（RBM）等。 后续将重点研究该领域。

关于人脸检测与对齐的融合

这类算法的idea是检测与对齐部分过程可以复用，

该类算法对于跟踪有很好的帮助， 因为在跟踪过程中需要验证预测的区域是否是人脸， 需要用到人脸检测器， 而人脸检测器通常速度较慢， 如果对齐与检测同时做了的话， 验证的时间时间可减少很多。提高追踪效率。该类算法有 JDA(Joint Cascade Face Detection and Alignment)、MTCNN等

五、 人脸对齐面临的挑战

大姿态、夸张表情、光线明暗、遮挡、场景多变等等问题。

六、 移动端选择对齐算法考虑的问题：

速度、模型大小、追踪问题等

参考资料

人脸对齐的应用有哪些？ http://www.thinkface.cn/thread-4354-1-1.html

人脸对齐概述以及最新进展 http://chuansong.me/n/290740451748