8、机器学习分类与回归树技术详解

机器学习分类与回归树技术详解

在机器学习领域，分类和回归是两个重要的任务，它们可以帮助我们预测数值或类别标签。本文将深入探讨几种强大的分类和回归技术，包括支持向量机（SVM）、决策树、随机森林和梯度提升，以及如何通过特征选择来优化模型。

支持向量机（SVM）模型比较与特征选择

在比较线性SVM和Sigmoid核SVM时，发现线性SVM在各方面表现较差，Sigmoid核SVM是更优的选择。然而，目前的模型没有进行特征选择，只是将所有变量作为特征输入空间，让SVM进行预测分类。SVM的一个问题是其结果难以解释。

为了进行特征选择，可以使用 caret 包。具体步骤如下：
1. 设置随机种子 ：确保结果可重复。

set.seed(123)

2. 指定交叉验证方法 ：使用 rfeControl() 函数，这里选择 lrFuncs 。

rfeCNTL = rfeControl(functions=lrFuncs, method="cv", number=10)

3. 执行递归特征选择 ：使用 rfe() 函数。