14、机器学习中的集成学习方法详解

机器学习中的集成学习方法详解

1. 堆叠集成学习基础

1.1 堆叠集成的基本步骤

在堆叠集成学习中，我们首先使用基础模型对测试子集进行预测，得到预测结果 final_test_stack ，然后将其转换为 DataFrame 格式的 stacked_test_dataframe 。该 DataFrame 有三列，分别对应不同基础学习器在测试子集上的预测值，列名以算法名称加 _TEST 后缀命名，如 NB_TEST 、 KNN_TEST 和 DT_TEST 。

接下来，我们检查基础模型在原始测试子集上的准确率，高斯朴素贝叶斯、KNN 和决策树分类器模型的准确率分别为 0.39、0.69 和 0.73。最后，使用元学习器模型对堆叠测试数据进行预测，得到的准确率为 0.77，高于单个基础学习器。但要注意，简单地增加基础学习器并不能保证获得更好的准确率。

1.2 相关工具库

创建堆叠模型可能比较繁琐， mlxtend 库提供了简化构建堆叠模型的工具。它提供了 StackingClassifier （用于堆叠的集成学习元分类器）和 StackingCVClassifier （使用交叉验证为二级元学习器准备输入，防止过拟合）。可以从