29、分类器集成技术与引力导向分类技术的研究

分类器集成技术与引力导向分类技术的研究

1. 分类器集成技术实验

1.1 实验模型构建

• 模型 1 ：分别构建 9、18 和 27 棵决策树的模型，通过多数投票法进行集成。
• 模型 2 ：结合熵和基尼系数两种划分标准的决策树，同样使用多数投票法集成。
• 模型 3 ：使用支持向量机、K - 近邻、决策树、朴素贝叶斯和多层感知器这五个分类器，通过多数投票法构建集成模型。

1.2 实验步骤

对于每个数据集，按以下步骤进行操作：
1. 保留数据集 25%作为验证测试集，用于比较模型预测值。
2. 根据数据集进行数据预处理，处理分类数据和缺失值。
3. 以随机种子将数据集分别分割 9、18 和 27 次，得到不同训练集，使用基尼准则和信息增益将决策树模型拟合到训练集。
4. 得到 9、18 和 27 个预测测试集，并转换为数据框。
5. 实现代码计算新数据集中每行的众数，准备最终测试集。
6. 预测验证测试集和最终预测值的准确率。
7. 组合上述决策树（如 9 棵熵准则树和 9 棵基尼准则树），使用多数投票法预测准确率，18 和 27 棵树同理。
8. 获取随机森林树模型和 XGBoost 模型的准确率，用于最终比较。
9. 设计使用多数投票法的集成模型，包含 K - 近邻、朴素贝叶斯、支持向量机、决策树和多层感知器，根据模型预测和验证测试集获取准确率。
10. 比较上述五种准确率并