36、面部情感识别：特征融合与数据集解析

面部情感识别：特征融合与数据集解析

1. 常用特征描述符

在面部情感识别领域，FPLBP、LBP [6]、FPLBP [30]、LBP - TOP [11] 和 TPLBP [30] 属于 LBP 特征描述符家族，是目前最常用的特征。

2. 人类视觉系统对面部的感知

人类视觉系统在理解面部时，会将视觉信息进行组合。O’Toole、Roark 和 Abdi 将大脑处理的面部特征信息分为静态信息和动态信息：
- 静态信息 ：指可从单帧图像中提取的不变面部特征，如眉毛、虹膜颜色、几何关系等。
- 动态信息 ：指可从视频中提取的时空面部运动信息，以及手势和姿势，例如与微笑相关的面部肌肉动态。

当感知面部时，在非最优条件下，动态信息和静态信息会相互结合，且这种结合的贡献程度与观察者对该面部的熟悉程度成正比，这一现象被称为补充信息假设（SIH）。该假设认为，人类会为特定的人赋予特征性的面部动作或独特的手势，即动态面部特征。

之前 Haxby 等人的模型描述了静态和动态信息的差异，但 O’Toole 等人提出，存在从以运动计算和情感为导向的中颞视觉区域到以外观为导向的梭状面部区域的信息交叉。

3. 计算机视觉中的融合方法

融合是计算机视觉中类似于人类视觉系统信息组合的方法，常用于多模态生物识别，也适用于所有计算机视觉应用。在多模态生物识别中，通常有多个传感器，称为模式。例如，面部情感识别系统可能会使用红外深度传感器和可见光传感器，融合就是将这两种模式结合的方法。

结合多个传感器的好处是可以解决