19、动态人脸识别的计算理论与方法

动态人脸识别的计算理论与方法

1. 引言

在人脸表示和识别领域，以往的方法大多侧重于静态或非时间性的表示。然而，心理物理学的研究表明，时空表示方案，即纳入时间信息的表示方式，可能更具吸引力。运动在人脸识别中扮演着重要角色，它不仅能帮助恢复面部的三维形状，还能提供时间相关的信息，有助于学习和识别。本文将探讨几种利用运动信息进行人脸识别的计算理论和方法。

2. 运动在识别中的作用的计算理论

2.1 非时间性表示

• 运动辅助恢复三维形状 ：有观点认为，运动有助于人脸识别主要是因为它能使我们恢复面部的三维形状。例如，当面部进行深度旋转等刚性运动时，运动结构法可以恢复非时间性的三维形状信息。但人类对面部的二维视图表示的心理物理、神经生物学和计算证据表明，人类对熟悉视图范围之外的新图像的泛化能力非常有限，这与运动人脸能提供恢复三维结构线索的假设存在冲突。
• 特定方式提取结构信息 ：更有可能的是，从运动人脸中提取结构信息是一种特定于面部的方式，而不是使用通用的运动结构方法。因为我们知道所观察的对象是面部，这会施加一些约束条件；如果知道可能是特定的某个人的脸，约束条件会更强。
• 时间约束的作用 ：
  • 辅助学习和识别 ：图像的时间接近性提供了感知显著属性的时间绑定。时间上接近的人脸图像具有相似的姿势、光照和表情，几乎可以确定是同一个人。这些时间约束为学习基于视图的表示和在识别过程中访问这种表示提供了有用的信息。