29、机器学习模型性能评估全解析

机器学习模型性能评估全解析

1. 模型误判案例与评估的必要性

在模型评估过程中，我们会发现一些令人意外的情况。例如有如下案例：
|编号|实际类型|预测类型|预测为垃圾邮件概率|预测为正常邮件概率|
| ---- | ---- | ---- | ---- | ---- |
|53|spam|ham|0.00071|0.99929|
|59|spam|ham|0.00156|0.99844|
|73|spam|ham|0.01708|0.98292|
|76|spam|ham|0.00851|0.99149|
|184|spam|ham|0.01243|0.98757|
|332|spam|ham|0.00003|0.99997|

这些案例表明，模型可能会极度自信但却大错特错。这六个测试案例实际都是垃圾邮件，但分类器却认为它们有不低于 98% 的概率是正常邮件。那么，即便存在这样的错误，模型是否仍然有用呢？我们可以通过对评估数据应用各种误差指标来回答这个问题。

2. 混淆矩阵的深入剖析

混淆矩阵是一种根据预测值是否与实际值匹配来对预测进行分类的表格。表格的一个维度表示预测值的可能类别，另一个维度表示实际值的可能类别。虽然我们目前主要看到的是 2x2 混淆矩阵，但实际上可以为预测任意数量类别值的模型创建混淆矩阵。

当预测值与实际值相同时，这是正确分类，在混淆矩阵中，正确的预测落在对角线上（用 O 表示）；非对角线上的矩阵单元格（用 X 表示）表示预测值与实际值不同的情况，即错误预测。分类模型的性能度量是基于这些表格中对角线上和非对角线上的预测计数。

<