35、面部分析算法中偏差的因果基准测试研究

面部分析算法中偏差的因果基准测试研究

1. 引言

在面部分析算法的研究中，算法偏差是一个重要的问题。为了测试算法在实际应用中的偏差情况，我们进行了一系列实验，主要针对性别分类器的偏差进行基准测试。

2. 实验准备

2.1 性别分类器

• 我们训练了两个研究级别的性别分类器模型，均采用 ResNet - 50 架构。
  • 第一个模型在 CelebA 数据集上训练。CelebA 是最流行的公共面部数据集，规模大且属性注释丰富，但存在严重的不平衡问题。
  • 第二个模型在 FairFace 数据集上训练，该数据集旨在减轻一些偏差。
• 训练参数设置：
  • 训练 20 个周期，使用二元交叉熵损失。
  • 前 10 个周期学习率设为 1e - 4，后 10 个周期设为 1e - 5。
  • 为避免预测一种性别比另一种性别更有偏差，训练时强制男性和女性面部采样的可能性相等。
• 不测试商业系统的原因：
  • 可重复性：我们测试的模型可由其他研究人员随时重新实现和训练，而商业系统是黑盒，可能随时间不可预测地变化。
  • 我们的 ResNet - 50 模型显示的偏差与原研究中观察到的偏差相当。

2.2 样带数据

• 数据生成 ：使用在 Flickr - Faces