25、机器学习性能评估全解析

机器学习性能评估全解析

1. 分类器性能评估基础

1.1 ROC曲线

ROC曲线可直观展示分类器在不同参数值下的行为。其横轴代表负例的错误率，纵轴代表正例的分类准确率。理想情况下，我们希望曲线能达到左上角，即负例错误率为0，正例准确率为100%，但实际中很难实现。

例如，有两个分类器c1和c2的ROC曲线。在负例错误率较低的区域，c1在正例上的表现优于c2；随着负例错误率增加，c2在正例上的表现超过c1。不过，哪个分类器更好需根据具体应用需求判断。

1.2 精度和召回率相关问题

• 适用数据 ：在某些数据中，我们更倾向用精度（Precision）和召回率（Recall）评估分类器性能，而非错误率。
• 计算公式 ：
  • 精度：$Pr = \frac{TP}{TP + FP}$
  • 召回率：$Re = \frac{TP}{TP + FN}$
• 使用场景 ：当我们更关注分类结果的准确性时，会偏好高精度；当更希望尽可能找出所有正例时，会更强调高召回率。

2. 其他性能评估指标

2.1 Fβ值

Fβ值用于将精度和召回率结合为一个指标，公式如下：
$F_{\beta} = \frac{(\beta^2 + 1) \times Pr \times Re}{\beta^2 \times Pr + Re}$

其中，参数$\beta \in [0, 1)$可让用户权衡两个指标的相对重要性：
- 当$\beta > 1$时，更看重召回率；
- 当$\beta < 1$时，更看重精度；
- 当$\beta = 1$时，即$F_1$值，对两者给予同等权重：$F_1 = \frac{2 \times Pr \times Re}{Pr + Re}$

数值示例 ：假设分类器在测试集上评估得到精度$Pr = 0.40$，召回率$Re = 0.29$，计算不同$\beta$值下的$F_{\beta}$：
- $\beta = 0.2$时，$F_{0.2} = \frac{(0.2^2 + 1) \times 0.4 \times 0.29}{0.2^2 \times 0.4 + 0.29} = \frac{0.121}{0.306} = 0.39$
- $\beta = 1$时，$F_1 = \frac{(1^2 + 1) \times 0.4 \times 0.29}{0.4 + 0.29} = \frac{0.232}{0.330} = 0.70$
- $\beta = 5$时，$F_5 = \frac{(5^2 + 1) \times 0.4 \times 0.29}{5^2 \times 0.4 + 0.29} = \frac{3.02}{10.29} = 0.29$

2.2 灵敏度和特异度

在医疗领域，常用灵敏度（Sensitivity）和特异度（Specificity）评估“分类器”性能。
- 灵敏度：是在正例上测量的召回率，$Se = \frac{N_{TP}}{N_{TP} + N_{FN}}$
- 特异度：是在负例上测量的召回率，$Sp = \frac{N_{TN}}{N_{TN} + N_{FP}}$

2.3 Gmean值

当处理类别分布不均衡的领域时，工程师有时希望在正类和负类上都取得相似的性能，此时会使用几何均值gmean：
$gmean = \sqrt{acc_{pos} \times acc_{neg}} = \sqrt{\frac{N_{TP}}{N_{TP} + N_{FN}} \times \frac{N_{TN}}{N_{TN} + N_{FP}}}$

gmean不仅取决于两个分类准确率的值，还与它们的接近程度有关。例如，$(0.75, 0.75)$的几何均值为$\sqrt{0.75 \times 0.75} = 0.75$，而$(0.55, 0.95)$的几何均值为$\sqrt{0.55 \times 0.95} = 0.72$。

数值示例 ：假设分类器在测试集上评估结果如下，计算灵敏度、特异度和gmean：
- 灵敏度：$Se = \frac{20}{50 + 20} = 0.29$
- 特异度：$Sp = \frac{900}{900 + 30} = 0.97$
- gmean：$gmean = \sqrt{0.29 \times 0.97} = 0.53$

2.4 成本函数

在机器学习应用中，不同类型的错误代价可能不同。例如在石油泄漏识别问题中，假阳性意味着将类似物误判为石油泄漏，会导致不必要的飞机飞行成本；而假阴性意味着潜在的环境危害未被检测到，其代价难以用金钱衡量。

3. 多标签领域的性能评估

3.1 宏平均法

宏平均法先为每个类别计算性能指标，然后求平均值，每个类别权重相同。公式如下：
- 精度：$Pr_M = \frac{1}{L} \sum_{i = 1}^{L} pr_i$
- 召回率：$Re_M = \frac{1}{L} \sum_{i = 1}^{L} re_i$
- $F_1$值：$F_{M1} = \frac{1}{L} \sum_{i = 1}^{L} f_{1i}$

3.2 微平均法

微平均法根据每个类别在示例中的频率分配权重，将所有示例视为一个类别进行平均。公式如下：
- 精度：$Pr_{\mu} = \frac{\sum_{i = 1}^{L} TP_i}{\sum_{i = 1}^{L} TP_i + FP_i}$
- 召回率：$Re_{\mu} = \frac{\sum_{i = 1}^{L} TP_i}{\sum_{i = 1}^{L} TP_i + FN_i}$
- $F_1$值：$F_{\mu1} = \frac{2 \times pr_{\mu} \times re_{\mu}}{pr_{\mu} + re_{\mu}}$

3.3 对比总结

平均方法	特点
宏平均法	每个类别权重相同，适用于各类别重要性相同的情况
微平均法	根据类别频率分配权重，更关注整体示例的情况

4. 学习曲线和计算成本

4.1 学习曲线

学习曲线展示了诱导分类器的分类性能与训练集大小的关系。通常，较大的训练集意味着更高的分类性能，但达到一定程度后可能不再提升。理想情况下，我们希望用最小的训练集实现最大性能。

例如，有两个学习者l1和l2的学习曲线。l1的曲线上升很快，但很快趋于平稳；l2的曲线上升较慢，但最终能达到更高的准确率。当训练示例来源有限时，l1更合适；若示例丰富且计算成本可接受，l2是更好的选择。

4.2 计算成本

计算成本有两个方面：
- 诱导成本 ：从可用数据诱导分类器所需的时间。例如，k - NN分类器的基本版本诱导成本低，只需存储训练示例；而决策树在有大量训练示例和属性时，诱导时间可能较长。
- 分类成本 ：使用诱导后的分类器对一组示例进行分类所需的时间。k - NN分类器分类成本高，因为需要进行大量算术运算；决策树分类成本相对较低，通常只需进行适度数量的单属性测试。

5. 实验评估方法

5.1 基线方法及局限性

基线方法是将预分类示例集分为训练集和测试集，对不同参数设置进行训练 - 测试，选择性能最高的参数。但该方法需要大量预分类示例，在示例稀缺或昂贵的领域，随机划分缺乏客观性。

5.2 随机子采样

当预分类示例集较小时，工程师通常会多次重复训练 - 测试过程。每次将示例集随机分为训练集和测试集，记录测量性能并求平均。重复N次（通常N = 10或N = 5）后，结果以平均分类准确率和标准差报告。

5.3 N折交叉验证

N折交叉验证将预分类示例集分为N个（几乎）等大小的子集。在N次实验中，每次保留一个子集用于测试，其余子集用于训练。与随机子采样相比，其测试集不重叠，有利于某些统计评估。

5.4 分层方法

在类别表示严重不平衡的领域，分层方法可确保每个“折”中各类别的示例表示大致相同。该方法常用于N折交叉验证和随机子采样。

5.5 5x2交叉验证

5x2交叉验证结合了随机子采样和2折交叉验证。具体步骤如下：
1. 将预分类示例集随机分为两个等大小的子集，重复5次，得到五对子集$T_{i1}$和$T_{i2}$（$i = 1, …, 5$）。
2. 对于每对子集，先使用$T_{i1}$训练，$T_{i2}$测试，然后反过来。
3. 对得到的十个训练/测试会话，计算所选性能指标的均值和标准差。

5.6 无免费午餐定理

没有一种机器学习技术能在所有情况下都表现最优。每个机器学习范式都有其优势和不足，工程师需要通过系统实验来选择最适合任务的分类器和诱导算法。数学家已严格证明了这一结论，即“无免费午餐定理”。

6. 评估指标总结与选择建议

6.1 各评估指标特点总结

评估指标	特点	适用场景
精度和召回率	分别关注分类结果的准确性和正例的查全率，两者有时相互矛盾	需要平衡分类准确性和查全率的场景
Fβ值	将精度和召回率结合，可通过β值调整两者权重	希望用一个指标综合衡量精度和召回率，且能灵活调整两者重要性的场景
灵敏度和特异度	本质是正例和负例上的召回率，常用于医疗领域	医疗等对正例和负例分类性能有特定要求的领域
Gmean值	考虑了正类和负类的分类准确率，且关注两者的接近程度	处理类别分布不均衡的领域，希望在两类上取得相似性能的场景
成本函数	考虑不同类型错误的不同代价	错误代价差异较大的应用场景，如石油泄漏识别
宏平均法	每个类别权重相同	各类别重要性相同的多标签领域
微平均法	根据类别频率分配权重	更关注整体示例情况的多标签领域

6.2 评估指标选择建议

• 数据类别均衡情况 ：
  • 若数据类别均衡，精度、召回率、F1值等指标能较好地评估分类器性能。
  • 若数据类别不均衡，Gmean值、分层方法下的评估指标更合适，以避免模型偏向多数类。
• 应用领域特点 ：
  • 医疗领域优先考虑灵敏度和特异度。
  • 错误代价差异大的领域，如金融风险评估、安全检测等，需使用成本函数。
• 多标签领域 ：
  • 各类别重要性相同时，选择宏平均法。
  • 更关注整体示例情况时，选择微平均法。

7. 学习曲线与成本分析的实际应用

7.1 学习曲线的实际指导意义

学习曲线可以帮助工程师判断训练集大小对分类器性能的影响，从而合理选择训练集规模。以下是根据学习曲线进行决策的流程：

graph LR
    A[获取学习曲线] --> B{训练集规模是否足够}
    B -- 是 --> C[维持当前训练集规模]
    B -- 否 --> D{增加训练集规模是否可行}
    D -- 是 --> E[增加训练集规模]
    D -- 否 --> F[考虑更换算法或调整参数]

7.2 计算成本的优化策略

根据不同算法的计算成本特点，工程师可以采取以下优化策略：
- k - NN分类器 ：
- 诱导成本低，但分类成本高。可通过降维技术减少属性数量，降低分类时的计算量。
- 采用近似最近邻算法，如KD树、球树等，提高搜索效率。
- 决策树 ：
- 诱导成本可能较高，可采用特征选择方法，减少参与训练的属性数量。
- 对决策树进行剪枝操作，降低树的复杂度，减少分类时的计算量。

8. 实验评估方法的综合运用

8.1 不同实验评估方法的适用场景

实验评估方法	适用场景
基线方法	有大量预分类示例，可进行多次训练 - 测试以选择最优参数的场景
随机子采样	预分类示例集较小，需要多次重复实验以提高评估准确性的场景
N折交叉验证	需要更客观、全面地评估模型性能，且测试集不重叠有利于统计评估的场景
分层方法	类别表示严重不平衡的领域，确保每个子集能代表各类别分布的场景
5x2交叉验证	结合随机子采样和2折交叉验证，常用于机器学习实验评估的场景

8.2 实验评估方法的组合运用

在实际应用中，可以根据数据特点和任务需求组合使用不同的实验评估方法。例如，先使用随机子采样初步筛选参数范围，再使用N折交叉验证进行更精确的评估；在类别不均衡的情况下，结合分层方法和N折交叉验证或5x2交叉验证。

9. 总结与展望

9.1 总结

本文全面介绍了机器学习中分类器性能评估的多种方法，包括基本的精度、召回率、ROC曲线，以及Fβ值、灵敏度、特异度、Gmean值等其他评估指标。同时，阐述了多标签领域的评估方法、学习曲线和计算成本的概念，以及多种实验评估方法。不同的评估指标和实验方法适用于不同的数据特点和应用场景，工程师需要根据具体情况选择合适的方法。

9.2 展望

随着机器学习技术的不断发展，新的评估指标和实验方法可能会不断涌现。例如，在深度学习领域，由于模型复杂度和数据规模的增加，传统的评估方法可能需要进一步改进。未来，我们可以期待更能准确反映模型性能、考虑更多实际因素（如模型可解释性、计算资源消耗等）的评估指标和方法的出现，以更好地满足各种复杂应用场景的需求。