24、模型优化中的公平性

模型优化中的公平性

在模型优化过程中，公平性是一个至关重要的问题。模型可能会因为训练数据的偏差或算法本身的设计，对不同群体产生不公平的对待。本文将深入探讨模型优化中的公平性问题，并介绍一些常见的显式不公平缓解策略。

1. 差异影响

差异影响指的是模型在未明确针对敏感属性进行训练时，仍对某些群体产生不同的处理结果。例如，若算法主要基于男性数据进行训练，它可能会将男性名字与高地位工作关联起来，而将女性名字与低地位工作关联起来。这通常是因为模型在无意识中创建了与敏感信息相关的代理属性。

2. 显式不公平缓解

显式不公平缓解可以通过在损失函数中添加正则化项或约束条件来实现。下面将分别介绍不同任务中的公平性约束方法。

2.1 分类任务的公平性约束

在机器学习的分类任务中，我们用 $Y$、$X$ 和 $S$ 分别表示类别/标签、非敏感输入特征和敏感输入特征的随机变量。训练数据集 $D$ 由这些随机变量的实例组成，即 $D = { (y, x, s) }$。

分类任务的目标是找到一个由参数 $\Theta$ 定义的模型 $M$，使其能够在给定敏感和非敏感特征时，正确预测类别的条件概率 $M[Y|X,S; \Theta]$。模型参数通过最大似然估计器（MLE）进行估计：
$L(D; \Theta) = \sum_{(y_i,x_i,s_i)\in D} \ln M[y_i|x_i, s_i;\Theta]$

为了缓解不公平性，我们可以对损失函数进行修改。

• 添加偏见消除正则化项 ：Kamishima 等人在论文