9、统计与机器学习算法：核函数与Bagging方法详解

统计与机器学习算法：核函数与Bagging方法详解

1. 核函数在SVM模型中的应用

1.1 模型构建步骤

在构建SVM模型时，不同的核函数和超参数值会导致不同的结果。以下是具体的操作步骤：
1. 查看变量数据类型 ：确定有十个类别变量和七个数值变量。
2. 检查缺失值 ：发现数据集中没有缺失值。
3. 检查目标变量的类别平衡 ：目标变量的值为“yes”和“no”。
4. 转换目标变量 ：将目标变量转换为1和0，分别代表“yes”和“no”。
5 - 6. 对非数值变量进行独热编码 。
7. 分离预测变量和响应变量 。
8. 划分训练集和测试集 。
9. 构建模型 ：使用 sklearn.svm 中的 SVC() ，默认使用RBF核函数，应用于训练和测试数据以预测类别。
10. 检查训练和测试数据的准确性 。
11. 更改超参数 ：将核函数设置为多项式核函数，发现训练准确率基本不变，但测试准确率有所提高。多项式核函数的默认度数为3，可以尝试更高的度数并观察模型性能的变化。
12. 更换核函数 ：将核函数改为线性核函数，