17、多静态图像或视频序列的人脸识别技术解析

多静态图像或视频序列的人脸识别技术解析

1. 引言

单静态图像的人脸识别研究已历经多年，而基于多静态图像或视频序列的人脸识别则是新兴领域。相关研究不断增多，如“人脸识别大挑战”活动，以及2004年与CVPR联合举办的视频人脸处理研讨会等，都表明随着视频序列的普及，基于视频序列的人脸识别将愈发流行。

多静态图像或视频序列可简化为单静态图像进行处理。假设已有单静态图像人脸识别算法A（基础算法），可通过组合多个基础算法$A_i$构建基于多静态图像或视频序列的识别算法。每个$A_i$以不同的单图像$y_i$为输入，组合规则有加法、乘法等。

基础算法A若采用最近距离分类规则，可表示为：
$A : \hat{n} = \arg\min_{n=1,2,\cdots, N} d(y, x[n])$
也可用相似度函数s替代距离函数，算法变为：
$A : \hat{n} = \arg\max_{n=1,2,\cdots, N} s(y, x[n])$

常见的距离函数d包括：
- 余弦角：$d(y, x[n]) = 1 - \cos(y, x[n]) = 1 - \frac{y^T x[n]}{|y| \cdot |x[n]|}$
- 子空间距离：$d(y, x[n]) = |P^T{y - x[n]}|^2 = {y - x[n]}^T P P^T {y - x[n]}$，其中P是子空间投影矩阵，常见子空间方法有主成分分析（特征脸）、线性判别分析（Fisher脸）等。
- “广义”马氏距离：$k(y, x[n]) = {y - x[n]}^T W {y - x[n]}$，当$W = P P^T$时，退化为子空间距离；当$