17、远距离人脸与步态融合识别技术解析

远距离人脸与步态融合识别技术解析

1. 远距离人脸与步态匹配分数级融合

在远距离的单相机场景下，为了识别非配合个体，提出了一种创新的基于视频的融合系统。该系统结合了侧面人脸和步态这两种生物特征信息，采用不同的融合方法。

侧面人脸包含了眼睛、鼻子和嘴巴的整个侧面视图，具有形状和强度信息，比面部轮廓更具识别区分能力。为了克服远距离视频中侧面人脸分辨率有限的问题，使用增强侧面人脸图像（ESFI）作为个体的人脸模板，它是由多个视频帧构建的高分辨率图像，相比直接从单个视频帧获取的原始侧面人脸图像（OSFI），能生成更具区分性的人脸特征。

基于人脸和步态的特征生成合成匹配分数进行融合。实验结果表明，在视频中整合侧面人脸和步态信息对个体识别是有效的。当使用合适的融合规则，如最大规则和求和规则来整合ESFI和步态能量图像（GEI）的信息时，总能实现性能提升。与仅使用一种生物特征的系统相比，该融合系统相对更稳健。

不过，该系统也存在一些局限性：
- 基于GEI的步态识别在一定程度上受人体形状影响。
- 侧面人脸与正面人脸相比包含的信息较少，并且对噪声和面部表情敏感。
- 系统仅在有限的视频序列上进行了测试。

尽管存在这些限制，但侧面人脸和步态的融合在远距离视频中仍能实现更好的识别性能。

2. 特征级融合的背景与意义

视频远距离人体识别对于多模态生物特征融合来说仍是一个具有挑战性的问题。与匹配分数级融合方法相比，特征级融合在实践中面临更多困难，因为多种模态可能具有不兼容的特征集，不同特征空间之间的关系也可能未知，而且拼接的特征向量可能导致维度灾难问题，还可能包含噪声或冗余数据，从而降低分