26、机器学习分类性能评估与统计显著性深度解析

机器学习分类性能评估与统计显著性深度解析

1. 分类性能评估指标

在机器学习领域，准确评估分类器的性能至关重要。以下是一些常用的评估指标：
- 错误率（Error Rate, E） ：指给定数据集中错误分类示例的百分比，其互补指标是分类准确率（Accuracy, Acc），计算公式为 $Acc = 1 - E$。
- 拒绝率（Rejection Rate） ：当分类器对某个类别的证据不足时，为避免代价高昂的错误分类，可选择拒绝该示例。较高的拒绝率通常意味着较低的错误率，但超过一定程度后，分类器的实用性会下降。
- 真正例（True Positives, NTP）、真反例（True Negatives, NTN）、假正例（False Positives, NFP）和假反例（False Negatives, NFN） ：这些计数可用于定义其他评估指标。
- 精确率（Precision, Pr）和召回率（Recall, Re） ：在类别分布不均衡的领域，错误率可能会产生误导，此时精确率和召回率能提供更准确的评估。精确率计算公式为 $Pr = \frac{NTP}{NTP + NFP}$，召回率计算公式为 $Re = \frac{NTP}{NTP + NFN}$。
- Fβ 分数 ：有时会将精确率和召回率结合为一个指标 Fβ，其计算公式为 $Fβ = \frac{(\beta^2 + 1) \times Pr \times Re}{\beta^2 \times Pr + Re}$。用户设定的