11、数据建模：KNN、线性回归与回归树的综合应用

数据建模：KNN、线性回归与回归树的综合应用

1. KNN算法的不同运行方式

1.1 使用交叉验证替代验证分区运行KNN

之前的代码使用了三个分区，另一种方法是使用两个分区。在这种情况下， knn.reg 将使用“留一法”交叉验证，并对训练分区本身的每个案例进行预测。要使用此模式，只需将训练分区作为参数传递，将另一个分区留为 NULL 。在完成主要步骤1到4之后，执行以下操作：

t.idx <- createDataPartition(educ$expense, p = 0.7, list = FALSE)
trg <- educ[t.idx,]
val <- educ[-t.idx,]
res1 <- knn.reg(trg[,7:12], test = NULL, y = trg[,6], k=2, algorithm="brute")
# When run in this mode, the result object contains 
# the residuals which we can use to compute rmse
rmse <- sqrt(mean(res1$residuals^2))
# and so on for other values of k

1.2 使用便捷函数运行KNN

通常我们会运行 knn 并计算均方根误差（RMS）。以下便捷函数可以帮助我们实现这一目标：