18、机器学习模型评估与集成学习技巧

机器学习模型评估与集成学习技巧

多分类问题的评分指标

在处理分类问题时，之前讨论的评分指标主要适用于二分类系统。不过，借助一些方法可以将这些指标扩展到多分类问题上。

在多分类问题里，scikit-learn 实现了宏观（macro）和微观（micro）平均方法，通过一对多（OvA）分类来扩展评分指标。微观平均是根据系统的各个真正例（TP）、真反例（TN）、假正例（FP）和假反例（FN）计算得出。例如，在一个 k 类系统中，精确率的微观平均计算公式如下：
$
Precision_{micro}= \frac{TP_1 + \cdots + TP_k}{TP_1 + \cdots + TP_k+ FP_1 + \cdots + FP_k}
$

宏观平均则是不同系统评分的简单平均值：
$
Precision_{macro}= \frac{Precision_1 + \cdots + Precision_k}{k}
$

微观平均适用于希望对每个实例或预测给予同等权重的情况；而宏观平均则对所有类别给予同等权重，用于评估分类器在最常见类别标签方面的整体性能。

在 scikit-learn 中处理多分类问题时，默认使用宏观平均的归一化或加权变体。加权宏观平均在计算平均值时，会根据每个类别标签的真实实例数量对其得分进行加权。当处理类别不平衡问题，即每个标签的实例数量不同时，加权宏观平均非常有用。

虽然加权宏观平均是 scikit-learn 中多分类问题的默认方法，但我们可以通过从 sklearn.metrics 模块导入的不同评分函数（如 precision_score 或