11、机器学习分类器性能评估与问题分析

机器学习分类器性能评估与问题分析

1. ROC 方法的问题

AUC（曲线下面积）是从 ROC（受试者工作特征）曲线得出的单一统计量，但它并非适用于所有情况。当一个分类器的 ROC 曲线在所有阈值下都高于另一个分类器时，AUC 较大的分类器性能更优。然而，若 ROC 曲线相互交叉，情况就变得复杂了。

除了 AUC，还有其他度量方法。例如 Youden’s J 统计量，其定义为灵敏度 + 特异度 - 1 或真阳性率（TPR） - 假阳性率（FPR）。该统计量在 ROC 曲线上的每个点都有定义，其最大值可用于确定最佳决策阈值，从而方便比较不同的分类器。另外，还可选择使 ROC 曲线最接近完美分类器点（TPR = 1 且 FPR = 0）的阈值。其他标准还包括设定 TPR 的最小可接受值并选择相应的 FPR，或者（在医学诊断中很有用）设定 FPR 的最大可接受值并选择相应的 TPR。

实际结果\预测结果	阳性值	阴性值
真	真阳性（TP）	假阴性（FN）
假	假阳性（FP）	真阴性（TN）

阳性预测值（PPV） = TP / (TP + FP)
阴性预测值（NPV） = TN / (TN + FN)
灵敏度 = TP /