海量人脸特征检索解决方案演进之路

1. 概述

人脸识别技术在最近几年得到了长足进步，目前在人脸识别领域业界领先的厂家识别准确率均达到了99%以上，因此大量人脸相关的应用场景开始逐步落地，例如人脸支付、人员布控、寻找失踪人口等，此外，结合人脸的追踪技术，也开始出现了分析人流走向、分析景点旅客行走规律、人员行为偏好分析等。这些应用虽然表现形式多样，但最终都是基于人脸特征检索这一技术实现的。

　　首先介绍一下人脸特征是什么。目前图像识别算法能够在一张照片中发现人脸，并能够对人脸中的轮廓进行识别和标记，算法使用这些标记点构造出表示该张人脸的特征的矩阵，这个过程称为人脸特征提取，得到的矩阵称为人脸特征矩阵，在工程上，特征矩阵一般以一维矩阵表示，以二进制数组的方式进行存储。

　　当需要确认两张人脸照片是否同一个人时，可以通过上述公式计算这两张人脸的特征矩阵之间的相似度，以此作为两个人脸的相似度，当相似度超过一定阈值时，就认为是同一个人，该阈值是经验值，不同厂家的特征提取算法不同，得到的经验值也会不同。提高阈值，会提高准确率（认为是同一个人的情况下判断正确的占比），但会降低查全率（能匹配到的人脸在人脸库中全部匹配人脸的占比）。因此在不同的应用场景下，由于准确率和查全率的权重不同，导致了阈值也会不同。如在寻找失踪人口的场景，是宁可找错也不应放过的，阈值就会相应调低，让更多相似的人脸能被看到；在人脸支付场景，准确率是最重要的，那么阈值相应就会较高，当然也会导致匹配失败的次数增多。

把大量人脸特征集中存储可形成特征库，若要判断一个人在不在这个特征库中，只需要拿这个人的人脸照片对应的人脸特征，跟特征库里每个特征计算相似度，把相似度超过阈值的特征对应的照片找出即可。通过一个特征来比对一个特征库的场景，往往称为人脸1:N比对，与之对应的两个特征库之间的比对，往往称为人脸M:N比对。

算法场景通常会提供如下的M:N比对接口：

　　接口实现两个特征库之间的比对，如上图中4个特征的库和3个特征的库的比对，可得到12个相似度。当要实现1:N时，只需让其中一个特征库只包含一个特征即可。此前基于E5-2640V3 CPU(16物理核)实测1:N，每秒可实现1.5亿对特征比对。一般通过C++调用该接口完成比对。

2. 性能指标要求

　　在今年某地市的项目中，系统从一万多人脸摄像机中采集人脸抓拍图片进行特征提取后形成特征库，业务层需要实现人脸检索功能。其中数据规模为：每天约2000万张人脸抓拍图，图片平均约30KB，人脸特征约600字节，即每月6亿个特征，每月特征库单副本约占用350GB空间，数据需要存储1年，人脸检索要求1:1亿在3秒内响应，需要支持10个并发，需要支持根据时间、摄像机编号、相