37、机器学习模型评估与性能预测指南

机器学习模型评估与性能预测指南

1. ROC曲线与AUC

AUC（曲线下面积）是ROC曲线的简化表示，但仅依靠AUC不足以确定所有用例中的“最佳”模型。最佳做法是将AUC与ROC曲线的定性检查结合使用。如果两个模型的AUC相同或相似，通常应选择早期性能更好的模型。对于仅使用最有信心的预测子集的应用，即使一个模型的整体AUC更好，初始真阳性率较高的模型可能更受青睐。

1.1 在R中创建ROC曲线并计算AUC

pROC包提供了一组易于使用的函数，用于创建ROC曲线并计算AUC。在使用前，需确保已安装该包：

install.packages("pROC")

创建可视化需要两个数据向量，第一个包含正类的估计概率，第二个包含预测的类值。以下是为SMS分类器创建ROC曲线的示例：

library(pROC)
sms_roc <- roc(sms_results$prob_spam, sms_results$actual_type)
plot(sms_roc, main = "ROC curve for SMS spam filter",
     Col = "blue", lwd = 2, grid = TRUE, legacy.axes = TRUE)

为了比较不同模型的性能，可以在同一图中添加额外的ROC曲线。假设我们还训练了一个k - NN模型，并将预测的垃圾邮件概率保存到CSV文件中，可按以下步骤操作：