14、机器学习中的集成学习方法：堆叠与同质集成

机器学习中的集成学习方法：堆叠与同质集成

1. 堆叠集成方法概述

在机器学习中，堆叠是一种强大的集成技术，它通过组合多个基础模型的预测结果，利用元学习器来找到最优的预测组合，从而提高模型的准确性。

1.1 基础模型预测与准确性评估

首先，我们使用基础模型对测试子集进行预测，得到预测结果 final_test_stack ，并将其转换为 DataFrame 格式的 stacked_test_dataframe 。该 DataFrame 包含三列，分别对应不同基础学习器在测试子集上的预测值，列名以算法名称加上 _TEST 后缀命名，如 NB_TEST 、 KNN_TEST 和 DT_TEST 。

接下来，我们检查基础模型在原始测试子集上的准确性。高斯朴素贝叶斯、KNN 和决策树分类器模型的准确率分别为 0.39、0.69 和 0.73。然后，我们应用元学习器模型对堆叠的测试数据进行预测，得到的准确率为 0.77，高于单个基础学习器。但需要注意的是，简单地在堆叠算法中添加更多基础学习器并不能保证获得更好的准确性。

1.2 简化堆叠模型构建的库

为了简化堆叠模型的创建过程，可以使用 mlxtend 库。它提供了 StackingClassifier 和 StackingCVClassifier 工