26、机器学习分类器性能评估与统计显著性分析

机器学习分类器性能评估与统计显著性分析

1. 分类器性能评估标准

在机器学习中，评估分类器的性能是一项至关重要的任务，它能够帮助我们了解分类器的效果和可靠性。以下是一些常用的性能评估标准：
- 错误率（Error Rate, E） ：错误率是衡量分类性能的基本标准，它被定义为给定集合中错误分类示例的百分比。与之互补的是分类准确率（Accuracy, Acc），计算公式为 $Acc = 1 - E$。
- 拒绝率（Rejection Rate） ：当对任何类别的证据不够充分时，分类器最好拒绝该示例，以避免代价高昂的错误分类。因此，拒绝率成为评估分类性能的另一个重要标准。通常情况下，较高的拒绝率意味着较低的错误率，但超过一定程度后，分类器的实用性会下降。
- 真正例、真反例、假正例和假反例的计数 ：这些计数分别用 $N_{TP}$、$N_{TN}$、$N_{FP}$ 和 $N_{FN}$ 表示，它们可以用于定义其他衡量分类性能的标准。
- 精确率（Precision, Pr）和召回率（Recall, Re） ：在类别表示不平衡的领域中，错误率可能是一个具有误导性的标准。此时，使用精确率和召回率能提供更准确的评估。精确率的计算公式为 $Pr = \frac{N_{TP}}{N_{TP} + N_{FP}}$，召回率的计算公式为 $Re = \frac{N_{TP}}{N_{TP} + N_{FN}}$。
- Fβ 分数 ：有时，精确率和召回率会被合并为一个单一的标准，即 Fβ 分数，其计算