34、机器学习公平性评估与设计模式解析

机器学习公平性评估与设计模式解析

1. 模型评估工具与公平性考量

1.1 What-If 工具与语言可解释性工具

What-If 工具具有模型无关性，可用于任何类型的模型，无论其架构或框架如何。它能与在笔记本或 TensorBoard 中加载的模型、通过 TensorFlow Serving 提供服务的模型，以及部署到 Cloud AI Platform Prediction 的模型协同工作。此外，What-If 工具团队还为基于文本的模型创建了语言可解释性工具（LIT）。

1.2 训练后评估的重要考虑

训练后评估的一个重要方面是在一组平衡的示例上测试模型。如果数据中存在某些特定部分可能会给模型带来问题，比如受数据收集或表示偏差影响的输入，我们应确保测试集包含足够的这些情况。数据分割后，我们会对训练、验证和测试数据的每个分割部分进行与训练前相同类型的分析。

1.3 模型公平性没有通用解决方案

模型公平性没有一刀切的解决方案或评估指标，它是一个持续的迭代过程，应贯穿整个机器学习工作流程，从数据收集到模型部署。

2. 实现模型公平性的替代工具和流程

2.1 公平性指标（Fairness Indicators）

公平性指标（FI）是一套开源工具，旨在帮助在训练前理解数据集的分布，并使用公平性指标评估模型性能。FI 中包含的工具是 TensorFlow Data Validation（TFDV）和 TensorFlow Model Analysis（TFMA）。公平性指标通常作为 TFX 管道的组件使用，或通过 TensorBoard 使用。TFX