18、面部动作追踪技术解析

面部动作追踪技术解析

1 面部动作跟踪的背景与意义

面部动作跟踪问题在过去十年一直是研究的热点。大多数研究都是出于面部动画、面部表情分析和人机界面等应用的考虑。为了从视频中创建面部动画，即捕捉视频流中的面部动作（面部运动、面部表情），然后对面部模型进行动画处理（描绘相同或另一张脸），必须执行一系列步骤。自然地，必须先检测面部，然后必须将某种模型拟合到面部。这可以通过将二维或三维模型对齐和变形到图像上，或者通过定位一系列面部标志点来完成。通常，两者结合使用。

1.1 应用场景

面部动作跟踪技术广泛应用于多个领域：

• 面部动画 ：在电影、电视和视频游戏中创建逼真的面部表情。
• 面部表情分析 ：研究人类情感表达，支持心理健康和行为科学。
• 人机界面 ：开发更自然、直观的交互方式，如虚拟助手和增强现实。

2 面部动作编码系统（FACS）

面部动作编码系统（FACS）是心理学家在1960年代和1970年代开发的一种参数化最小面部动作的系统。该系统描述了每种面部表情是由大约50个面部动作单元（AUs）的组合构成，每个AU代表一个面部肌肉的激活。FACS不仅在心理学研究中广受欢迎，也被用于计算机化的面部建模。

2.1 FACS动作单元

FACS由44个动作单元组成，其中30个与特定面部肌肉的收缩解剖学相关，其余14个动作单元的解剖学基础尚未明确。这些动作单元可以被编码为对称或不对称，对于强度变化的动作单