24、公共领域人脸数据库与商业人脸识别系统解析

公共领域人脸数据库与商业人脸识别系统解析

1. 公共领域人脸数据库概述

目前已开发的人脸识别系统大多基于统计信息，因此不可避免地存在一定的误差和不准确性。这些系统的目标是在执行类似任务时，比人类识别者表现得更好、更快，但它们无法始终得出绝对准确的结果。

全球研究人员已公开了多个面部图像数据库，大部分数据库的链接可在由 Peter Kruizinga 维护的人脸识别主页（http://www.cs.rug.nl/”peterkr/FACE/face.html）上找到。以下是部分公共领域人脸数据库的详细信息：
|数据库名称|链接|图像规格|主体数量|图像特点|
| ---- | ---- | ---- | ---- | ---- |
|Olivetti 和 Oracle 研究实验室（ORL）|http://www.cam - orl.co.uk/facedatabase.html|92 x 112，256 灰度级，PGM 格式|40 个主体，每个主体 10 张图像|近似直立正面视图，光照、面部表情（睁眼/闭眼、微笑/不微笑）和眼镜有变化，深色均匀背景|
|格拉斯哥图灵研究所|http://www.turing.gla.ac.uk/|VRML 模型|65 个主体|使用 C3D 2020 捕获系统|
|卡内基梅隆大学|http://www.ius.cs.cmu.edu/IUS/harl/har/usr0/har/faces/test/|GIF 格式，灰度图|用于测试正面人脸检测算法的数据库，提供待检测人脸的面部特征图像坐标|
|斯特林大学|http://pics.psych.stir.ac.uk/|PICS 数据库包含多组人脸图像| - 313 张图像，约 35 个主体，每个主体 3 种姿势（正面、3/4 侧面和侧面），每种姿势 3 种表情
- 493 张图像，约 70 个主体，正面 4 种表情，侧面 2 种表情，还有一张戴浴帽的正面图像
- 由阿伯丁大学的 Ian Craw 提供 689 张图像，姿势（14 种）、面部表情（4 种）、光照、颜色有变化，每个主体在不同时间有多张图像|
|麻省理工学院媒体实验室|ftp://whitechapel.media.mit.edu/pub/images/|128x 120，8 位灰度，RAW 字节格式|16 个主体，每个主体 27 张图像|光照比例和姿势有变化，可能有更大的数据库|
|以色列魏茨曼科学研究所|ftp://eris.wisdom.weizmann.ac.il/pub/FaceBase/|512x352（像素宽高比为 12:11），灰度图|28 个主体|三种不同面部表情，y 轴姿势变化，水平光照变化|
|耶鲁大学|http://giskard.eng.yale.edu/yalefaces/yalefaces.html|GIF 格式，灰度图|15 个主体，每个主体 11 张图像|不同面部表情和光照：中心光、戴眼镜、开心、左光、不戴眼镜、正常、右光、悲伤、困倦、惊讶和眨眼，光照变化非常极端|
|M2VTS ACTS 项目（多模态生物特征身份验证）|http://www.tele.ucl.ac.be/M2VTS/|286x350 像素|37 个主体，每个主体 5 个序列，每周拍摄一次|音频 - 视觉数据库，用于语音验证、语音/嘴唇相关性研究以及人脸识别。主体从“0”数到“9”，然后进行 y 轴旋转，从正面到左侧面，再到右侧面，最后回到正面。戴眼镜的人不戴眼镜重复头部旋转。头部姿势控制不太精确，旋转速度不同，该数据库收取分发费用，计划发布超过 1000 GB 序列的扩展数据库|
|密歇根大学|http://www.engin.umich.edu/faces/|彩色 JPEG|超过 2000 个主体，每个主体 1 张图像|近似正面视图，主要是头部和肩部，背景和光照不同|
|USENIX|ftp://ftp.uu.net/published/usenix/faces| - |超过 5000 张人脸图像，每个主体 1 张图像|大多为正面视图，观看条件不同|
|伯尔尼大学|ftp://iamftp.unibe.ch/pub/Images/FaceImages/|Sun 光栅文件格式，8 位灰度，512 x 342|30 个主体，每个主体 15 张图像|姿势和对比度有变化，光照经过精心控制|
|PEIPA（欧洲图像处理试点存档）|http://peipa.essex.ac.uk/| - | - |包含埃塞克斯大学和曼彻斯特大学团队提供的数据。埃塞克斯：彩色 GIF，180 x 200 和 192 x 144，约 150 个主体；曼彻斯特：512 x 512 PGM 格式|
|普渡大学|http://rvll.ecn.purdue.edu/”aleix/aleixfaceDB.html| - |126 人，超过 4000 张正面视图图像|面部表情、光照和遮挡情况经过控制变化，每人参加两次间隔 14 天的拍摄|

2. 公共领域人脸数据库的讨论

为了学习能够处理远离正面视图的大旋转的基于视图的模型，可以使用覆盖一定视图范围并标注有 3D 姿势角度的人脸图像数据库。获取人脸数据库需要精心设计，并且必然取决于研究的性质。

目前已有多个大型公共领域数据库可供使用，这使得不同算法之间可以进行直接比较。然而，需要注意的是，任何给定的数据库都不能真正代表所有情况。在特定评估机制下，某个数据库上的最低错误率仅表明该算法在特定约束子问题上有较好的解决方案，并不能说明它就是最佳的人脸识别算法。因此，用于基准测试的数据库最好包含一些不符合预期情况的不完美图像，因为在实际应用人脸识别方案时，这些情况更有可能出现。

虽然基准测试有助于了解各种实验性人脸识别系统在不同条件下的性能，但真正的挑战是在自然环境和较差条件下使用这些系统。将人脸识别系统应用于商业领域并非易事，在很多情况下，这取决于原始实验系统设计时所做的基本假设。

3. 商业人脸识别系统现状

实时机器视觉系统过去常被认为用户体验不佳、不稳定且成本高昂，这是由于其需要专业的图像采集系统和高性能工作站。但近年来，从性能和成本两方面来看，对这类专业硬件的需求正在迅速减少。面向大众 PC 市场的实时成像硬件取得了巨大进展，使用标准的现成基于 PC 的成像系统，以极低的成本就能轻松实现视频捕获、存储和处理。

低成本机器视觉系统的商业化趋势在使用面部和虹膜识别的生物识别领域尤为明显，这主要是因为这些系统具有巨大的应用潜力。虽然一些研究方法已在商业中得到体现，但目前大多数人脸识别系统只能在非常受限的条件下运行。例如，当前系统最常见的特点之一是对视角和光照条件施加了非常严格的限制，几乎所有系统都只适用于正面或接近正面的人脸快照。此外，“人脸识别”的定义往往也不明确。

考虑到实际应用中的种种困难，目前大多数商业系统主要在受限条件下执行一对一验证任务也就不足为奇了。不过，在确定应用场景时，不同系统会考虑不同因素，以充分发挥特定方法的潜力。此外，人脸识别正越来越多地与其他生物识别方式（如语音或指纹识别）相结合，以提供更强大、准确的身份识别系统。

4. 商业人脸识别系统的特征考量

4.1 产品方面

• 用户 ：目标终端用户和市场领域。
• 识别任务 ：识别任务的类型，如验证、分类、已知/未知或完全识别。
• 平台 ：使用的硬件平台和软件包，以及任何集成解决方案的详细信息。
• 成像介质 ：使用的图像类型，如直接从摄像机或录像带捕获的图像序列，或直接从相机或照片捕获的静态图像。
• 数据库 ：已知人员数据库的大小和性质。
• 速度 ：执行识别所需的速度，在许多应用中，实时图像采集和识别可能至关重要。
• 准确性 ：所需的识别准确性，应根据假阴性和假阳性错误率来评估，每种错误类型的风险因应用而异，评估时需考虑系统是作为主要独立设备还是辅助设备使用。

4.2 方法方面

• 算法 ：采用的算法类型，如基于视图或基于 3D 模型，静态或动态。
• 人脸图像采集 ：在注册和识别过程中是否使用手动或自动人脸检测和跟踪。
• 适应性 ：自动在线学习，以逐步优化特定应用的性能（数据库的自适应）。
• 系统调整 ：可针对特定操作环境进行调整的各种控制参数，通常包括决定假阳性和假阴性错误率权衡的操作点。
• 虚假检测 ：处理照片、人造面具或其他人脸物理模型的机制。

4.3 约束方面

• 外在因素 ：处理外在变量的能力，如视角、与相机的距离、光照条件和背景运动。
• 内在因素 ：处理内在变量的能力，如面部毛发、发型、眼镜和面部表情。

以下是商业人脸识别系统特征考量的 mermaid 流程图：

graph LR
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px

    A(商业人脸识别系统):::process --> B(产品):::process
    A --> C(方法):::process
    A --> D(约束):::process
    B --> B1(用户):::process
    B --> B2(识别任务):::process
    B --> B3(平台):::process
    B --> B4(成像介质):::process
    B --> B5(数据库):::process
    B --> B6(速度):::process
    B --> B7(准确性):::process
    C --> C1(算法):::process
    C --> C2(人脸图像采集):::process
    C --> C3(适应性):::process
    C --> C4(系统调整):::process
    C --> C5(虚假检测):::process
    D --> D1(外在因素):::process
    D --> D2(内在因素):::process

5. 主流商业人脸识别系统分析

5.1 Visionics 公司

Visionics 开发了 FaceIt 系列软件包，并授权给第三方用于广泛的应用。该系列软件包的特点如下：

5.1.1 产品特点

• 用户 ：有多个针对不同终端用户的软件包，从用于数据访问控制和网络安全的低成本软件包（FaceIt PC 和 FaceIt NT）到用于国家 ID 的大规模数据库应用，再到更昂贵的先检测和跟踪正面人脸再进行识别的系统（FaceIt Surveillance）。目标应用包括在线一对一验证任务（如使用 ATM 机的电子银行和移民边境控制）以及一对多任务（如 CCTV 控制室应用）。
• 识别任务 ：一对一验证和一对多识别。
• 平台 ：Windows 9x、NT 和 Unix/Linux。
• 成像介质 ：通过摄像机捕获的在线图像序列或离线图像数据库。
• 数据库 ：通过注册会话获取与应用相关的数据库，为每个个体采集多个快照，以在数据库中体现其面部外观的一些变化。
• 速度 ：在良好的正面视图下，通常不到一秒就能找到人脸。
• 准确性 ：建议 FaceIt 系统可作为目标应用的主要独立设备。

5.1.2 方法特点

• 算法 ：基于洛克菲勒大学开发的局部特征分析方法，使用多尺度滤波器提取局部图像特征，并使用 PCA 对这些特征图像进行编码。该方法基于单姿势图像，系统还允许处理多个视频流，并根据返回的置信度进行调度。
• 人脸图像采集 ：与大多数其他商业系统不同，FaceIt 旨在自动在摄像机给定距离内找到移动的正面人脸视图，无需用户主动配合。但该机制对光照变化非常敏感，因为人脸检测是通过视频序列中连续两帧图像的直接时间差分来实现的。据称，该系统可以在受限环境中同时检测和跟踪多个人脸。
• 适应性 ：最近的开发包括基于应用的在线数据库自适应。
• 系统调整 ：操作员可以权衡假阳性和假阴性错误率，并根据光照和背景条件调整系统。
• 虚假检测 ：有一个实时人脸测试选项，要求用户微笑或眨眼，以验证真实人脸的存在，但这会减慢识别过程。

5.1.3 约束情况

• 外在因素 ：人脸检测过程据报道能够捕获不同大小的人脸图像，识别机制能够处理一定程度的仿射变换以及高达 ±35°的倾斜和偏航。FaceIt 在静态背景下效果最佳，但据称在杂乱和移动背景下也能有较好的表现。
• 内在因素 ：近期报告称该算法能够处理肤色、眼镜、面部表情和发型的变化，但没有对允许的变化程度和在此类变化下的鲁棒性进行定性或定量描述。

5.2 Miros 公司

Miros 公司提供 TrueFace 软件，该软件可以采集图像，自动定位人脸，并对大小、视图、旋转、平移和光照的变化进行归一化处理。TrueFace 使用多个神经网络将归一化后的面部特征与数据库中存储的特征进行匹配。

5.2.1 产品特点

• 用户 ：应用包括使用 ATM 机的电子银行、监控、互联网访问、登录控制和物理访问控制。软件范围从用于一对一验证的低成本系统（TrueFace PC、TrueFace Network、TrueFace Web）到更昂贵的一对多识别系统（TrueFace ID），以及包括软件和硬件的集成一对一物理访问控制系统（TrueFace Access）。
• 识别任务 ：一对一验证和一对多识别。对于验证应用，用户或其他设备需提供 PIN 码或密码。
• 平台 ：Windows 9x 和 NT。
• 成像介质 ：一些产品使用交互式捕获的静态图像，另一些产品使用从摄像机或录像带捕获的图像序列。
• 数据库 ：系统在每次注册或验证尝试时为每个个体捕获一到两张图像。多次注册会话允许为每个人在数据库中存储多张图像。
• 速度 ：据称在配备 64 MB RAM 的 266 MHz Pentium II 机器上，典型吞吐量为 1 - 2 秒，包括找到人脸并进行验证的时间。

5.2.2 方法特点

• 算法 ：采用神经网络和专有图像处理算法的混合方法。
• 人脸图像采集 ：采集过程是交互式的，涉及一到两个摄像机。对于物理访问控制，键盘或磁卡读卡器是可选的。对于大多数应用，用户必须主动配合。对于监控应用，当人员看向隐藏摄像机时，由操作员捕获图像。
• 系统调整 ：可调节的阈值用于权衡假阳性和假阴性错误，还有几个控制人脸查找算法的参数可以调整，以提高特定应用的性能。
• 虚假检测 ：可以使用用户的立体视图来防止使用授权用户的 2D 照片欺诈系统。对于只有一个摄像机的应用，要求人员在捕获图像序列时移动头部，以便生成和分析近似立体视图。

5.2.3 约束情况

• 外在因素 ：据称几个归一化阶段可以补偿不同的视角、相机距离和合理的光照条件。但在极端条件下（如人员离相机更远或面部有强烈阴影），识别准确性会下降。
• 内在因素 ：发型或面部毛发的重大变化需要重新注册，正常的肤色变化不影响识别准确性。据称，除非眼镜有强烈反射遮挡眼睛，否则不会降低准确性。由于典型应用涉及合作用户，该软件仅设计用于处理正常的面部表情，未提供允许的变化程度描述。

5.3 Visionspheres 技术公司

Visionspheres 技术公司基于麦吉尔大学的研究开发了两款商业可用的人脸识别程序 UnMask 和 UnMask +，具有以下特点：

5.3.1 产品特点

• 用户 ：潜在应用可能集中在政府机构，这些机构可以实施良好的控制条件，输入可以只是静态图像。例如，西弗吉尼亚州的机动车管理部门曾尝试使用 UnMask 来验证驾驶员在更新或补办驾照时的身份。
• 识别任务 ：UnMask 执行一对一验证，UnMask + 主要设计用于基于相同算法的分类任务。
• 平台 ：基于 Windows 的软件。
• 成像介质 ：从静态数码相机拍摄的单张图像或使用 CCD 摄像机捕获的图像序列。
• 数据库 ：存储从人脸快照中提取的基于特征的模板。
• 速度 ：据称在 200 MHz 奔腾 PC 上，该软件可以在半秒内完成所有预处理、特征提取和人脸匹配。但手动采集过程成为性能瓶颈。
• 准确性 ：该系统设计为辅助验证设备，并与其他生物识别技术（如指纹识别）结合使用。

5.3.2 方法特点

• 算法 ：提取眼睛、鼻子和嘴巴等关键面部特征之间的空间几何关系，并存储在模板中，基于整体面部外观进行匹配。
• 人脸图像采集 ：在一种模式下，该过程需要手动激活的数码相机或摄像机，在纯色背景下拍摄单张人脸图像。只有当系统无法自动定位预定义的面部特征时，才由操作员手动定位。目前，这些系统具有半自动人脸检测功能，但没有跟踪功能。

5.3.3 约束情况

一般来说，基于明确测量图像特征的识别系统在处理外在或内在变化时会遇到困难，因为这些变化可能使特征对应关系难以或无法建立。视角的变化很可能导致这两个系统失效。
- 外在因素 ：尽管进行了强度归一化，但当基于图像的面部特征不一致时，这两个系统仍然可能对光照变化敏感。由于采集过程是手动操作的，因此可以处理尺度、图像方向和人脸位置等其他变化。
- 内在因素 ：未提及相关内容。

6. 商业人脸识别系统对比总结

为了更清晰地了解各主流商业人脸识别系统的特点，我们将上述三家公司的产品进行对比总结，如下表所示：
|公司|Visionics 公司| Miros 公司| Visionspheres 技术公司|
| ---- | ---- | ---- | ---- |
|产品特点|多个针对不同终端用户的软件包，涵盖低成本到高端应用；适用于在线一对一和一对多识别任务；平台多样；成像介质包括在线序列和离线数据库；数据库通过注册获取且含个体多快照；速度快，良好正面视图下不到一秒找到人脸；可作主要独立设备|多种软件适用于不同场景，从低成本一对一验证到一对多识别及集成物理访问控制；需 PIN 码或密码验证；平台为 Windows 9x 和 NT；成像介质有静态和序列图像；数据库多次注册可存多人多图；266 MHz Pentium II 机器上 1 - 2 秒完成识别|潜在应用集中在政府机构；UnMask 一对一验证，UnMask + 分类；基于 Windows 软件；成像介质为单张或序列图像；存储特征模板；200 MHz 奔腾 PC 半秒完成处理，但手动采集是瓶颈；作辅助验证设备|
|方法特点|基于局部特征分析方法，用多尺度滤波器和 PCA 编码；自动找移动正面人脸但对光照敏感；有在线数据库自适应；可调整错误率和系统参数；实时人脸测试防虚假但减慢识别|神经网络和专有算法混合；交互式采集需用户配合；可调节阈值和参数；立体视图或头部移动防虚假|提取关键特征空间关系存储模板匹配；半自动人脸检测无跟踪功能|
|约束情况|人脸检测能处理一定大小和变换，适应一定倾斜和偏航，静态背景最佳；能处理部分内在变化但描述不明确|归一化补偿部分外在条件，极端条件下准确性下降；发型或毛发大变化需重新注册，正常肤色和普通眼镜影响小|对光照敏感，手动采集可处理部分外在变化；未提及内在因素相关内容|

从这个对比表格中可以看出，不同公司的人脸识别系统在产品定位、技术方法和应对约束条件的能力上各有优劣。Visionics 公司的产品功能较为全面，在速度和适应性上有一定优势，但对光照敏感；Miros 公司的系统在归一化处理上有一定特点，能应对部分常见变化；Visionspheres 技术公司的产品更侧重于特定应用场景，不过手动采集影响了其性能。

7. 人脸识别系统未来发展趋势

7.1 应对复杂环境能力提升

目前大多数商业人脸识别系统对环境条件要求苛刻，未来的发展方向之一是提升系统在复杂环境下的性能。这包括适应各种光照条件（如强光、弱光、逆光等）、不同视角（不仅仅局限于正面或接近正面）、复杂背景（如动态背景、杂乱场景）等。例如，研发更先进的光照补偿算法、多角度识别模型，以减少环境因素对识别准确性的影响。

7.2 多模态生物识别融合加深

为了提高识别的准确性和安全性，人脸识别与其他生物识别方式（如指纹识别、虹膜识别、语音识别等）的融合将更加深入。多模态生物识别可以综合不同生物特征的优势，弥补单一识别方式的不足。例如，在重要场所的门禁系统中，同时使用人脸识别和指纹识别，只有当两种识别方式都通过时才允许进入，大大提高了安全性。

7.3 实时性和准确性的平衡优化

在实际应用中，实时性和准确性往往需要平衡。未来的人脸识别系统需要在保证高准确性的同时，进一步提高识别速度。这可能需要在算法优化、硬件性能提升等方面进行改进。例如，采用更高效的算法结构、利用更强大的硬件加速技术（如 GPU 加速）来实现实时准确的识别。

7.4 应用领域拓展

随着技术的不断进步，人脸识别系统的应用领域将不断拓展。除了现有的电子银行、安防监控、门禁系统等领域，还可能在智能家居、医疗保健、教育等领域得到更广泛的应用。例如，在智能家居中，通过人脸识别实现自动调节家居设备的设置；在医疗保健中，用于患者身份识别和医疗记录管理。

以下是人脸识别系统未来发展趋势的 mermaid 流程图：

graph LR
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px

    A(人脸识别系统未来):::process --> B(应对复杂环境能力提升):::process
    A --> C(多模态生物识别融合加深):::process
    A --> D(实时性和准确性的平衡优化):::process
    A --> E(应用领域拓展):::process
    B --> B1(适应多种光照):::process
    B --> B2(处理不同视角):::process
    B --> B3(应对复杂背景):::process
    C --> C1(结合指纹识别):::process
    C --> C2(结合虹膜识别):::process
    C --> C3(结合语音识别):::process
    D --> D1(算法优化):::process
    D --> D2(硬件性能提升):::process
    E --> E1(智能家居):::process
    E --> E2(医疗保健):::process
    E --> E3(教育领域):::process

8. 总结与建议

8.1 总结

公共领域人脸数据库为研究人员提供了丰富的资源，使得不同算法之间的比较成为可能。但这些数据库存在一定局限性，不能完全代表实际应用中的各种情况。商业人脸识别系统虽然在近年来取得了一定的发展，从硬件成本和性能上都有了很大改善，但目前仍大多只能在受限条件下运行，且“人脸识别”的定义不够明确。主流商业系统在产品特点、技术方法和应对约束条件上各有特点，Visionics 公司功能全面但对光照敏感，Miros 公司归一化有特点，Visionspheres 技术公司适用于特定场景但手动采集有瓶颈。

8.2 建议

• 数据库建设 ：在构建用于基准测试的数据库时，应增加不完美图像的比例，以更好地模拟实际应用场景。同时，对数据库中的图像进行更详细的标注，包括光照、姿势、表情等信息，方便研究人员更准确地评估算法性能。
• 算法研发 ：加大对能够适应复杂环境的算法的研发投入。例如，开发基于深度学习的算法，利用其强大的特征提取能力来应对不同光照、视角和背景的变化。同时，注重多模态生物识别算法的研究，提高识别的准确性和安全性。
• 系统优化 ：商业系统开发者应进一步优化系统的适应性和鲁棒性。在人脸图像采集方面，减少对光照变化的敏感性，提高自动检测和跟踪的稳定性。在系统调整方面，提供更便捷、智能的参数调整方式，让用户能够根据实际应用场景快速优化系统性能。
• 应用拓展 ：积极探索人脸识别系统在新领域的应用。企业可以与不同行业进行合作，了解各行业的需求，开发出符合行业特点的人脸识别解决方案。例如，与教育行业合作，开发用于课堂考勤、学生身份识别的系统；与医疗行业合作，用于患者身份验证和医疗数据安全管理。

综上所述，人脸识别技术在公共领域和商业领域都有广阔的发展前景，但也面临着诸多挑战。通过不断地改进数据库、优化算法、提升系统性能和拓展应用领域，人脸识别技术将在未来发挥更大的作用。