12、分类器评估与多类别分类策略详解

分类器评估与多类别分类策略详解

1. 二元分类器性能指标

在二元分类任务中，仅关注分类器的准确率是不够的。以 5 检测器为例，当它判定一张图像代表 5 时，只有 83.7% 的概率是正确的，并且只能检测出 65.1% 的 5。为了更全面地评估分类器性能，我们引入了精确率（Precision）和召回率（Recall）这两个重要指标。

精确率衡量的是分类器预测为正类的样本中，实际为正类的比例；召回率则是指实际正类样本中，被分类器正确预测为正类的比例。为了将这两个指标综合起来，我们使用 F1 分数。F1 分数是精确率和召回率的调和平均数，其计算公式如下：
[F1 = \frac{2}{\frac{1}{precision} + \frac{1}{recall}} = 2 \times \frac{precision \times recall}{precision + recall} = \frac{TP}{TP + FN + FP}]
在 Python 中，我们可以使用 sklearn.metrics 库中的 f1_score 函数来计算 F1 分数：

from sklearn.metrics import f1_score
f1_score(y_train_5, y_train_pred)

F1 分数倾向于精确率和召回率相近的分类器，但在不同的应用场景中，我们可能更关注其中一个指标。例如，在检测适合儿童观看的视频时，我们可能更倾向于精确率高的分类器，即使它会拒绝很多好视频（召回率低）；而在检测监控图像中的