18、机器学习分类器评估与集成学习技巧

机器学习分类器评估与集成学习技巧

在机器学习的实际应用中，模型评估和优化是至关重要的环节。本文将深入探讨多分类问题的评分指标、处理类别不平衡问题的方法，以及如何通过集成学习提高模型的预测性能。

多分类问题的评分指标

在处理多分类问题时，我们需要将适用于二分类系统的评分指标进行扩展。scikit-learn 实现了宏观和微观平均方法，通过一对多（OvA）分类将这些指标应用于多分类问题。

• 微观平均 ：通过系统的各个真正例（TP）、真反例（TN）、假正例（FP）和假反例（FN）计算得出。例如，在 k 类系统中，精确率的微观平均计算公式如下：
  [
  P_{micro} = \frac{TP_1 + \cdots + TP_k}{TP_1 + \cdots + TP_k + FP_1 + \cdots + FP_k}
  ]
• 宏观平均 ：简单地计算不同系统的平均得分。精确率的宏观平均计算公式为：
  [
  P_{macro} = \frac{P_1 + \cdots + P_k}{k}
  ]

微观平均适用于我们希望平等对待每个实例或预测的情况，而宏观平均则平等对待所有类别，用于评估分类器在最常见类别标签方面的整体性能。

在 scikit-learn 中，使用二分类性能指标评估多分类模型时，默认使用标准化或加权的宏观平均。加权宏观平均通过在计算平均值时根据每个类别标签的真实实例数量对分数进行加权，适用于处理类别不平衡的情况。

我们可以通过从 skl