35、机器学习模型性能评估：从混淆矩阵到多元指标

机器学习模型性能评估：从混淆矩阵到多元指标

1. 混淆矩阵与基础性能指标

在机器学习中，混淆矩阵是评估分类模型性能的重要工具。对于一个 2x2 的混淆矩阵，我们可以定义预测准确率（有时也称为成功率）和错误率。

• 准确率（Accuracy） ：表示模型正确预测的比例，公式为：
  [
  accuracy = \frac{TP + TN}{TP + TN + FP + FN}
  ]
  其中，TP（True Positives）是真正例的数量，TN（True Negatives）是真负例的数量，FP（False Positives）是假正例的数量，FN（False Negatives）是假负例的数量。

• 错误率（Error Rate） ：表示模型错误预测的比例，公式为：
  [
  error rate = \frac{FP + FN}{TP + TN + FP + FN} = 1 - accuracy
  ]

以 SMS 数据为例，我们可以使用 R 语言的 table() 函数创建混淆矩阵：

table(sms_results$actual_type, sms_results$predict_type)

输出结果如下：

        ham spam