50、机器学习模型性能评估与集成学习方法详解

机器学习模型性能评估与集成学习方法详解

1. 使用 caret 包测量模型性能差异

除了使用 ROC 曲线，还可以使用重采样方法生成每个拟合模型在 ROC、灵敏度和特异性指标下的统计信息，以此比较各模型的性能差异。

1.1 准备工作

需完成之前的步骤，将 glm、svm 和 rpart 拟合模型分别存储到 glm.model 、 svm.model 和 rpart.model 中。

1.2 操作步骤

1. 对三个生成的模型进行重采样：

cv.values = resamples(list(glm = glm.model, svm=svm.model, rpart = rpart.model))

2. 获取重采样结果的摘要：

summary(cv.values)

以下是重采样结果的部分统计信息：
| 模型 | ROC - Min. | ROC - 1st Qu. | ROC - Median | ROC - Mean | ROC - 3rd Qu. | ROC - Max. | ROC - NA’s | Sens - Min. | Sens - 1st Qu. | Sens - Median | Sens - Mean | Sens - 3rd Qu. |