14、机器学习分类器性能评估与统计检验方法详解

机器学习分类器性能评估与统计检验方法详解

1. 性能估计基础

在监督分类问题中，核心目标是构建一个既能准确描述训练数据，又能对来自相同分布的未知数据进行有效泛化的分类模型。然而，联合概率分布 $p(x,c)$ 通常是未知的，因此需要从现有的数据集 $D = {(x_1,c_1), … ,(x_N,c_N)}$ 来估计分类器在未知实例上的性能。

1.1 AUC 计算

在多分类问题中，AUC（Area Under the Curve）的计算更为复杂。对于二分类问题，可直接从图中计算 AUC，例如：
$AUC(\varphi) = 0.20·0.20 + 0.20·0.60 + 0.20·0.80 + 0.40·1 = 0.72$

在多分类问题中，AUC 可以推广为 ROC 曲面下的体积，或者是所有可能的二分类 ROC 曲线的平均 AUC。计算公式为：
$AUC_{multi - class}(\varphi) = \frac{2}{R(R - 1)} \sum_{c_i,c_j \in \Omega_C, c_i \neq c_j} AUC_{c_i,c_j}(\varphi)$
其中，$AUC_{multi - class}(\varphi)$ 是分类器 $\varphi$ 的多分类 ROC 的总 AUC，$AUC_{c_i,c_j}(\varphi)$ 是 $\varphi$ 对于类 $c_i$ 和 $c_j$ 的二分类 ROC 曲线的 AUC。

1.2 诚实性能估计方法分类

诚实性能估计方法根据重采样特征分为单重采样和多重采样两类。单重采样方法只对数据集进行一次采样，而多重采样方法