15、算法评估与校准：保障算法公平性与有效性

算法评估与校准：保障算法公平性与有效性

1. 如何评估分数的排名顺序

在深入探讨算法校准之前，先来了解一下排名顺序评估，这有助于理解更高级的校准分析。

1.1 二元结果的排名评估指标

• 基尼系数（Gini coefficient） ：用于评估算法对二元结果的排名能力。
• 柯尔莫哥洛夫 - 斯米尔诺夫统计量（Kolmogorov - Smirnov statistic，K - S 统计量） ：与基尼系数类似，但不完全相同。二者都在 0 到 100 的范围内，不过对于同一算法，K - S 分数往往略低，有时会低 10 - 15 分。例如，基尼系数为 50 时，K - S 可能在 37 - 42 分的范围。

指标	特点
基尼系数	纳入了每个预测值，若算法在某些预测范围表现不佳，它会更严格
K - S 统计量	基本上衡量的是预测和结果分布中的一个单点（即算法“表现最佳”的点）

建议在评估算法时只使用其中一个指标，这样在对算法进行基准测试时才能进行公平比较。

1.2 连续结果的排名评估

对于连续结果（如头发数量），基尼系数和 K - S