人脸关键点的应用场景及重难点解析丨Dev for Dev 专栏

本文为「Dev for Dev 专栏」系列内容，作者为声网视频组 AI 算法工程师 周世付。

人脸检测、人脸关键点检测，是计算机视觉的基础算法。许多酷炫应用背后，例如美颜、贴纸、人脸驱动 avatar，是依赖着人脸检测、人脸关键点检测的算法。

人脸检测的常规做法，是从图像中找到人脸的位置并采用矩形框的方式将人脸标示出来。由于人脸检测提供的信息比较粗糙，要想获取更精细、详细的人脸信息，比如，人脸的脸型、嘴巴、眼睛、鼻子的位置和几何形状，就需要进行人脸关键点检测。

01 人脸关键点检测的技术原理

人脸关键点检测，也称为人脸关键点定位或者人脸对齐，是在人脸检测获取到人脸在图像中具体位置的基础上，进一步定位人脸器官的位置。

这些人脸器官位置信息，是一些具有明确语议定义的离散点，因此称为人脸关键点。通常，人脸关键点定义在人脸的脸颊、嘴巴、眼睛、鼻子和眉毛区域，将人脸关键点连接起来，能够描绘人脸的几何特征。

人脸关键点的类型，可划分为 2D 关键点和 3D 关键点。2D 关键点，输出的是人脸关键点的 x、y 的坐标信息。常用的 2D 关键点数量 5 点、68 点、106 点，随着技术的发展及应用对人脸关键点提出更高要求，也出现了 280 点甚至是 1000 点的人脸关键点方案。

3D 关键点，则输出关键点的 x、y、z 的坐标信息。3D 关键点的检测，是采用 3DMM 模型，重建人脸的 3D mesh，再将 3D mesh 投射到 2D 的图像空间。由于 3D 关键点比 2D 关键点多了深度信息，在