16、3D与多模态3D+2D人脸识别技术解析

3D与多模态3D+2D人脸识别技术解析

1. 引言

当前人脸识别技术在一些要求较高的生物识别应用中表现欠佳。虽然指纹和虹膜识别等技术被认为准确性更高，但它们需要用户高度配合。例如，指纹识别需用户与传感器表面进行物理接触，这在高通量应用中会带来清洁和卫生问题；虹膜成像则要求用户精确调整眼睛与传感器的相对位置，在高通量场景下也存在困难。因此，人脸识别系统在性能提升方面存在着巨大的应用驱动需求。

目前，绝大多数人脸识别研究和主要商业系统都使用普通强度的面部图像，即“2D图像”。与之相对，“3D图像”能呈现面部的三维形状。3D面部形状常与2D强度图像结合使用，此时2D图像可视为覆盖在3D形状上的“纹理图”。常见的3D面部数据渲染方式有距离图像、阴影模型和线框网格。

我们主要关注通过匹配待识别面部的3D形状与已知人员已注册的3D面部形状来进行身份识别或验证的系统。“识别”通常指一对多匹配以找到高于某个阈值的最佳匹配，“验证”则指一对一匹配以确认或拒绝声称的身份。多模态生物识别通常指使用多种成像方式，这里我们用它来泛指使用面部3D和2D图像的生物识别算法。

有观点认为，使用3D数据进行人脸识别的准确性可能高于2D面部图像。例如，3D数据可克服视角和光照变化带来的限制，距离图像能捕捉形状变化而不受光照影响，深度和曲率特征在描述面部表面事件时可能更准确，且具有视角不变性。然而，2D图像中也可能包含3D形状所没有的有用信息，如肤色、雀斑等。

2. 3D与多模态2D+3D人脸识别研究综述

尽管3D人脸识别的早期工作在十多年前就已开展，但目前关于3D和多模态2D+3D人脸识别的发表论文数量仍然相对较少。以下是一些重要的3D人脸识别算法及其