34、2D与3D融合的人脸识别技术解析

2D与3D融合的人脸识别技术解析

1. 2D特征提取与匹配

在人脸识别中，2D特征的提取与匹配是重要的基础步骤。首先，针对每个库人脸FG，会预先提取一组SIFT（尺度不变特征变换）点及其描述向量，这个步骤可以离线进行。当有探测人脸FP出现时，会提取其SIFT点，并与所有库人脸进行匹配。
随后，使用OpenSurf代码提取SURF（加速稳健特征）点。和SIFT提取类似，库人脸的SURF点提取也可离线完成，从而为每个FG获取一组SURF点及其描述符。为了计算描述符向量之间的距离，采用了与SIFT相同的技术，阈值t设为0.6。
当探测人脸FP到来时，提取其SURF点并与所有库人脸进行匹配。经过SIFT和SURF匹配后，对于给定的探测人脸FP，会得到N组匹配点M1, …, MN。匹配规则如下：
- 选取匹配点数量最多的集合对应的库人脸作为匹配结果。
- 如果有多个集合的匹配点数量相同，则选择描述符向量间平均距离最小的库人脸作为匹配结果。

以下是这个过程的mermaid流程图：

graph TD;
    A[输入探测人脸FP] --> B[提取SIFT点];
    B --> C[与库人脸FG的SIFT点匹配];
    A --> D[提取SURF点];
    D --> E[与库人脸FG的SURF点匹配];
    C --> F[得到SIFT匹配点集];
    E --> G[得到SURF匹配点集];
    F & G --> H[合并匹配点集];
    H --> I[选择匹配点最多的库人脸];
    I --