12、基于金字塔Lucas - Kanade算法的实时面部特征点跟踪

基于金字塔Lucas - Kanade算法的实时面部特征点跟踪

1. 引言

面部表情跟踪在计算机视觉中是一个基础问题，它在面部表情识别、分类以及情绪状态检测等多种应用中发挥着重要作用。随着其在心理面部表情分析和人机交互等领域的广泛应用，对面部跟踪的研究也日益深入。尽管近年来面部视频处理和压缩技术取得了进展，使得面对面通信在现实应用中成为可能，但由于通信需求的不断增加，仍然需要更高的带宽。而且，经过数十年的发展，实现稳健、逼真的实时面部跟踪仍然是一个巨大的挑战。难点在于各种成像条件下的实时面部特征跟踪，例如肤色、姿态变化、自我遮挡以及多个非刚性特征变形等。

研究旨在开发一个自动面部表情识别系统，该系统通过分析视频序列中眉毛、嘴唇和眼睛的运动，来判断一个人的情绪状态，如快乐、悲伤、厌恶或恐惧。主要聚焦于面部特征跟踪，实时面部特征跟踪系统主要由两个重要模块组成：
1. 使用几何模型和梯度投影提取面部图像中的特征。
2. 利用光流（金字塔Lucas - Kanade算法）跟踪面部特征点。

系统的整体流程如下：

graph LR
    A[面部检测] --> B[面部特征提取]
    B --> C[面部特征点跟踪]

2. 面部检测

面部检测是面部表情识别系统的第一步，其目的是用一个矩形框定面部区域。为此，采用了基于Haar-like特征的改进型Viola & Jones面部检测器。

2.1 Haar-like特征

像素值仅能提供某一点的亮度和颜色信息，因此寻