54、机器学习模型调优与集成学习全解析

机器学习模型调优与集成学习全解析

1. 简单调优模型的创建

在机器学习模型调优过程中， caret 包提供了丰富的选项，且许多函数的默认设置都很合理。例如，在不手动指定设置的情况下， caret 会分别使用自助抽样样本的预测准确率或均方根误差（RMSE）来为分类和数值预测模型选择最佳表现者，还会自动定义一个有限的搜索网格。

为了说明模型调优的过程，我们以使用 caret 包的默认设置来调优信用评分模型为例。调优学习器最简单的方法是通过 method 参数指定模型类型。由于之前在信用模型中使用过 C5.0 决策树，我们将继续优化这个学习器。使用默认设置调优 C5.0 决策树的基本 train() 命令如下：

library(caret)
set.seed(300)
m <- train(default ~ ., data = credit, method = "C5.0")

• set.seed(300) ：用于初始化 R 的随机数生成器，使其从指定的起始位置开始生成随机数。通过设置种子参数（这里是 300），随机数将遵循预定义的序列，这样使用随机抽样的模拟就可以重复得到相同的结果，方便代码共享和结果复现。
• default ~ . ：使用 R 公式接口定义一个树模型，该模型使用信用数据集中的所有其他特征来预测贷款违约状态（是或否）。