15、机器学习中的公平性与隐私保护

机器学习中的公平性与隐私保护

1. 实现公平性的三种模式

在经典的机器学习设置中，有三种实现更公平（即减少偏差）结果的模式：
- 预处理（Pre - processing） ：这种方法干预的是数据而非模型。它采用多种方式减少机器学习训练输入中的不公平性。比如，可对数据点重新标记，像Kamiran和Calders（2012）提出的方法，能识别出因数据存在偏差结果而应重新标记的数据；另一种较温和的方法是寻找一种数据表示，减少个体所属群体的信息，如Zemel等人（2013）开创的方法，使个体的敏感属性难以被准确猜测。由于该方法以数据为干预点，所以与模型无关。一般来说，在机器学习流程的最早阶段进行干预，最有可能产生最佳效果，但也存在一些问题，如激进地更改数据标签会从根本上移除信息，挑战机器学习这种数据驱动的学科；“转换”数据而非直接操作标签的方法也违背了数据驱动方法的基本原则，而且很难确切知道更改数据对模型的具体影响。
- 处理中（In - processing） ：此方法在模型训练期间进行干预，通常通过调整模型训练时使用的损失函数来实现。例如，Kamishima等人（2011）的工作中，会添加各种“惩罚”以反映偏差结果带来的公平成本，这与正则化技术类似。另一种方法是训练一个对抗模型，与目标模型同时训练，对抗模型的目标是猜测输出与哪个敏感类别相关，而目标模型在完成任务的同时，会优化以减少其输出传递给对抗模型的信息，像Zhang等人（2018）的工作，部分方法与模型无关。
- 后处理（Post - processing） ：该方法直接干预模型的标签而非模型本身，根据特定目标纠正模型的输出