无标注数据预测人脸识别模型偏差方法

无标注数据预测人脸识别模型偏差方法

消除标注需求使偏差测试变得更加实用。

近年来，算法偏差已成为AI各研究领域的核心议题。在2018年一项人脸识别软件偏差调查后，对该主题的兴趣急剧增长——其中偏差被定义为在不同人口群体受试者上的差异化表现。

测试人脸识别模型偏差的自然方法是向其输入来自不同群体的大量图像并观察其表现。但这需要标注图像中受试者身份的注释数据，而身份注释成本极高——特别是在需要 conclusive 评估人脸识别模型的规模下。

在今年欧洲计算机视觉会议(ECCV)上，我们提出了一种评估人脸识别系统偏差的新方法，不需要带有身份注释的数据。虽然该方法仅估计模型在不同人口群体数据上的性能，但我们的实验表明这些估计足够准确，能够检测出表明偏差存在的性能差异。

这一结果——能够在不需面部身份注释测试数据的情况下预测人脸识别模型的相对性能——令人惊讶，它提出了一种评估范式，应该使人脸识别软件的创建者测试模型偏差变得更加实用。

成本效益与适应性

除了成本效益外，我们的方法还具有可即时适应新人口群体的优势。它确实需要某种识别属于这些群体受试者的方法——例如来自自我报告的图像元数据——但不需要身份标签。

为了评估我们的方法，我们在故意保留特定人口统计数据的数据集上训练了人脸识别模型，以引入偏差。在所有情况下，我们的方法都能够识别在保留人口群体上的差异化表现。

与基线方法比较

我们还将我们的方法与贝叶斯校准进行了比较，后者是预测机器学习模型输出的基线方法。我们的方法在所有情况下都优于贝叶斯校准，有时优势很大——特别是考虑到贝叶斯校准需要一些注释数据进行引导，而我们的方法完全依赖未注释数据。

模型原理

从带注释的训练数据中，人脸识别模型通常学习生成输入图像的向量表示——嵌入——并测量它们在嵌入空间中的相互距离。任何距离低于某个阈值的嵌入都被分类为表示同一个人。

我们假设真实匹配之间的距离属于某种分布，而非相同人脸之间的距离属于不同的分布。我们方法的目标是学习这两个分布的参数。

经验上，我们发现分数分布往往略微偏斜，因此我们使用两段分布对其进行建模。两段分布在众数周围划分分布——众数是最常出现的值——众数两侧的分布具有不同的参数。

评估流程

为了评估训练好的人脸识别模型，我们向其输入带有人口统计信息但没有身份信息注释的图像对。人脸验证配对是随机的：有些是匹配的，有些不是，但我们不知道哪些是哪些。

从得到的分数中，我们的模型学习一对分布，一个用于匹配，一个用于非匹配，基于分布之间的分离，我们可以预测模型的准确性。我们对数据集中的每个人口类别重复此过程并比较结果。

基于测试样本的层次聚类，我们可以计算准确性估计的误差界限，我们的实验表明，即使考虑误差，我们的方法仍然能够提供明显的差异信号。我们希望这种方法论能够帮助从事人脸识别或类似生物识别任务的AI从业者确保其模型的公平性。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）