19、远距离视频中人脸与步态融合的人体识别技术解析

远距离视频中人脸与步态融合的人体识别技术解析

1. 人脸与步态融合的优势

人脸和步态的融合在实际应用中具有很大潜力，这得益于它们各自独特的特性。人脸图像易于人类解读，能让人确认生物识别系统是否正常运行，但人脸外观受多种因素影响，如光照、头部姿势、面部表情、胡须、眼镜、化妆、发型、体重变化和衰老等。而步态图像可远距离轻松获取，不过步态识别会受到衣物、鞋子、携带物品状态和个人身体状况的影响。与仅使用单一生物特征的系统相比，融合系统相对更稳健。例如，人脸识别在低光照条件下更敏感，而步态在这种条件下更可靠；当行人携带重物或受伤时，捕获的人脸信息可能比步态信息更有价值。

2. 特征级融合方案

提出了一种特征级融合方案，用于整合侧面人脸和步态信息，以在视频中远距离识别个体。增强侧面人脸图像（ESFI）和步态能量图像（GEI）分别作为人脸模板和步态模板，它们都整合了视频中多帧的信息。在连接人脸和步态特征后，应用多重判别分析（MDA）生成具有区分性的特征，以提高识别性能。与以往方法相比，该方案使用的最终特征向量维度更低，减少了维度灾难问题。实验结果表明，该特征级融合方案在视频个体识别中有效，优于之前在匹配分数级和特征级的融合方案。

3. 步态识别相关成果

• 步态能量图像（GEI） ：提出了一种时空步态表示方法，即GEI。与将步态视为一系列模板（姿势）的其他表示方法不同，GEI能在单张图像中表示人体运动序列，同时保留时间信息。与二进制轮廓序列的步态表示相比，GEI不仅节省存储空间和计算时间，而且对单帧中的轮廓噪声不太敏感。
• GEI 通用框架