9、视频人脸对齐的进展与趋势

视频人脸对齐的进展与趋势

在视频人脸对齐领域，有着多种方法和诸多需要考虑的因素。接下来将详细介绍相关内容。

基于同一人的多图像联合对齐方法

有研究发现，同一人的多幅人脸图像的外观变化可以用线性模型很好地近似，并且通过大量实验研究，特定人的主动外观模型（AAMs）的成功也证实了这一点。Zhao等人利用这些事实对同一人的多幅人脸图像进行联合对齐，并通过实验验证了其实践效果。不过，该方法容易受到人脸姿态和表情变化的影响。

Smith和Zhang考虑了视频中同一人的多幅人脸图像的联合对齐。他们发现，由于外观一致性，每个特征点估计处的局部外观在输入图像中是相似的，但由于局部外观模糊性、噪声以及搜索全局形状模型时固有的随机性等因素，估计的人脸形状在输入图像中可能不一致。这种不一致在视频中尤为明显，特征点估计会在其真实位置附近跳动。他们使用形状一致性来确保输入人脸特征点的空间排列更加一致。虽然该方法可以提高特征点估计的时间稳定性，但同样容易受到人脸姿态和表情变化的影响，这些变化会严重影响每个特征点中心区域的局部外观，并阻碍估计的人脸形状之间的线性相关性。

利用时间和空间连续性的人脸对齐方法

视频可以被看作是一组相互关联的图像，连续图像中的人脸之间存在时间和空间连续性。直观地说，利用这些连续性可以获得良好的人脸对齐结果。这类利用时间和空间连续性进行人脸对齐的方法与使用单张图像进行人脸对齐的方法不同，也与多幅人脸图像的联合对齐方法不同。在联合对齐中，强调的是一组人脸同时进行对齐，而利用时间和空间连续性的方法则是逐一对人脸进行对齐，并且当前人脸图像的对齐过程会受到前一人脸图像对齐结果的约束。

这类方法的研究可以追溯到Irani和Pele