15、模型评估指标与方法全解析

模型评估指标与方法全解析

1. 准确率（Accuracy）

准确率是评估模型性能的一个常用指标。有时候，一个数据集可能具有很高的零准确率（null accuracy）。例如，某个数据集的零准确率达到了 96%，这意味着如果我们构建一个简单的模型，始终预测出现次数最多的类别，那么这个模型的准确率就能达到 96%。

1.1 准确率的优点

• 易于使用 ：准确率的计算和理解都很简单，它基于一个简单的分数公式。
• 比其他技术更受欢迎 ：由于它是最容易计算的指标，所以也是最常用的。它被广泛接受为评估模型的第一步，大多数数据科学入门书籍也将准确率作为评估指标进行讲解。
• 适合比较不同模型 ：当使用不同模型解决同一个问题时，我们通常可以信任准确率最高的模型。

1.2 准确率的局限性

• 无法反映响应变量的分布 ：准确率不能让我们了解响应/因变量的分布情况。例如，一个模型的准确率为 80%，但我们并不知道响应变量是如何分布的，也不清楚数据集的零准确率是多少。如果数据集的零准确率高于 70%，那么一个准确率为 80%的模型可能并没有太大用处。
• 不包含第一类和第二类错误信息 ：准确率无法提供关于模型第一类和第二类错误的信息。第一类错误是指实际为负类但被预测为正类，第二类错误是指实际为正类但被预测为负类。

2. 不平衡数据集（Imb