《Face Alignment by Explicit Shape Regression》笔记

最新推荐文章于 2020-07-17 22:10:13 发布

叫什么就是什么

最新推荐文章于 2020-07-17 22:10:13 发布

阅读量1.3k

点赞数 2

CC 4.0 BY-SA版权

分类专栏：笔记文章标签： Face alignment

本文链接：https://blog.youkuaiyun.com/qq_24548569/article/details/88088444

本文详细解析了《Face Alignment by Explicit Shape Regression》论文，介绍了利用形状回归逐步纠正人脸特征点位置以实现精确对齐的方法。文章讨论了基于优化和回归的对齐方法的优缺点，重点阐述了两层级联回归模型、初级回归器（随机蕨）以及形状索引图像特征在人脸对齐中的应用，并展示了实验中高效且精确的对齐效果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Introduction

《Face Alignment by Explicit Shape Regression》发表在2012年的CVPR上。该论文的主要思想是不断调整已有的人脸特征点的位置，使得人脸特征点不断地往真实人脸靠拢，最终与真实人脸对齐，而且速度非常快。这个逐步缩小人脸特征点坐标误差的方法名为explicit shape regression，具体过程如下图所示：

Motivation

人脸对齐，顾名思义，就是使预测的人脸形状与实际人脸形状进行对齐。人脸形状一般使用人脸特征点表示。一个人脸形状 $S=[x1,y1,⋯ ,xNfp,yNfp]TS=[x_1, y_1, \cdots, x_{N_{fp}}, y_{N_{fp}}]^T$ 有 $N_{fp}$ 个特征点。在人脸对齐任务中，给定一张人脸图片，使得人脸形状S足够接近真实的人脸形状 $S^\hat{S}$ ，用公式表示，就是最小化
$(1)∥S−S^∥2 \lVert S - \hat{S} \rVert _2 \tag{1}$

对齐方法有两大类，分别是基于优化和基于回归的方法。

基于优化的方法，比如AAM，构建了一个脸部模型，并通过最小化一个损失函数来实现人脸对齐，但是该人脸模型在表达复杂的和微妙的人脸变化有局限性，这种方法可能在遮盖脸上不起作用。

基于回归的方法学习一个回归器把人脸图片直接映射到目标输出。例如AAM使用参数模型，在训练时最小化模型参数误差，但是模型参数误差与人脸对齐误差（公式1）是不同的，导致得到的结果可能是局部最优。

同时，所有模型都应该注意到人脸的形状约束。只有一些显著的人脸特征点可以直接从图片外貌中判断出来，比如眼睛中心，嘴角等。大多数其他人脸特征点需要相对其他特征点才能判断出来，比如人脸的轮廓。许多方法为了保持人脸形状约束而在测试时固定好形状约束，使得人脸对齐得很粗糙。

Method

为了使人脸形状S逐渐逼近 $S^\hat{S}$ ，论文使用提升回归（boosted regression）方法，使用T个弱回归器 $(R1,⋯ ,Rt,⋯ ,RT)(R^1, \cdots, R^t, \cdots, R^T)$ 进行加法迭代。靠前的迭代器处理大的形状变动来保证算法的鲁棒性，而靠后的回归器处理小的形状变动来确保对齐精度。给定一张人脸图片I和初始化人脸形状 $S^0$ ，每个回归器从提取的图片特征中计算一个形状增量 $δS\delta S$ ，并更新人脸形状S，如
$S^t = S^{t-1} + R^t(I, S^{t-1}), t = 1, \cdots, T \tag{2}$