44、机器学习模型的优化与对抗鲁棒性实践

机器学习模型的优化与对抗鲁棒性实践

1. 模型优化与公平性提升

在机器学习中，表现不佳、难以解释或存在偏差的模型，常被归咎于数据问题，但在数据准备和建模阶段，有很多方法可以改善这种情况。这就如同烘焙蛋糕，优质的原料固然重要，但原料的处理方式、烘焙的温度、容器以及时间等看似微小的差异，都可能对最终结果产生巨大影响，甚至一些无法控制的因素，如气压和湿度，也会影响烘焙效果。而且，评估蛋糕质量的方法也多种多样。

为了优化模型，我们可以结合多种指标并考虑数据的不平衡性。这里创建了一个自定义指标：加权惩罚精确召回平均值（weighted penalized precision-recall average），用于惩罚种族不平等问题。以下是计算该指标并对模型进行排序的代码：

for mdl_name in fitted_class_mdls:
    fitted_class_mdls[mdl_name]['wppra_test'] =\
        weighted_penalized_pr_average(y_test,\
                                      fitted_class_mdls[mdl_name]['preds_test'],
                                      X_test['race'], range(3))
class_metrics = pd.DataFrame.from_dict(fitted_class_mdls,
                                       'index')[['pr