36、机器学习模型性能评估指标与可视化方法

机器学习模型性能评估指标与可视化方法

在机器学习领域，准确评估模型的性能至关重要。本文将介绍一系列常用的性能评估指标，如灵敏度、特异度、精确率、召回率、F - 度量，以及如何使用ROC曲线可视化模型性能，并通过AUC值进行量化比较。

1. 灵敏度与特异度

灵敏度和特异度是衡量模型性能的重要指标，取值范围在0到1之间，越接近1表示性能越好。

• 计算公式 ：
  • 特异度：可以通过公式 spec <- 1203 / (1203 + 4) 计算，结果为 0.996686 。
  • 灵敏度和特异度也可以使用 caret 包直接从预测值和实际值向量计算：

library(caret)
sensitivity(sms_results$predict_type, sms_results$actual_type, positive = "spam")
specificity(sms_results$predict_type, sms_results$actual_type, negative = "ham")

• 实际意义 ：以短信垃圾邮件过滤为例，灵敏度为 0.831 意味着83.1%的垃圾邮件被正确分类；特异度为 0.997 表示99.7%的非垃