47、机器学习模型评估、训练与调优全攻略

机器学习模型评估、训练与调优全攻略

1. 支持向量机（SVM）评估与回归分析

1.1 模型评估

在评估支持向量机（SVM）模型时，我们先使用 predict 函数获取测试数据集的预测标签，再用 table 函数基于这些预测标签生成分类表。这与之前的评估流程类似。之后，引入了 classAgreement 函数，它能计算双向列联表的行和列之间的几个一致性系数，包括 diag 、 kappa 、 rand 和 crand 。
- diag ：表示分类表主对角线上数据点的百分比。
- kappa ：是对 diag 进行修正后的值，考虑了随机一致性的概率。
- rand ：即兰德指数，用于衡量两个数据簇之间的相似度。
- crand ：是调整后的兰德指数，考虑了元素的随机分组。

最后，使用 caret 包中的 confusionMatrix 函数来衡量分类模型的性能。例如，一个训练好的支持向量机模型的准确率为 0.9185，这表明它能正确分类大部分观测值。不过，仅靠准确率并不能很好地衡量分类模型，还需参考灵敏度和特异度。

1.2 SVM 回归分析

除了预测新观测值的类别，SVM 还可用于预