基于sklearn的集成分类器

最新推荐文章于 2023-11-09 12:03:00 发布

原创

最新推荐文章于 2023-11-09 12:03:00 发布 · 955 阅读

1 ·

CC 4.0 BY-SA版权

本文介绍了集成模型的概念，包括投票式和顺序式两种方式。重点探讨了随机森林分类器，它是基于决策树的投票式集成模型，通过随机选取特征来防止过拟合。此外，还提到了梯度上升决策树，虽然在分类问题中应用较少，但仍然是一个重要的集成方法。接着，文章展示了如何使用sklearn库，从泰坦尼克遇难者数据集开始，进行数据预处理、特征选择、缺失值处理，到最后的模型训练和评估，分别对随机森林和梯度提升决策树进行了实操和效果比较。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

理论

集成模型

集成分类器模型是综合考虑多种机器学习模型的训练结果，做出分类决策的分类器模型

投票式：平行训练多种机器学习模型，每个模型的输出进行投票做出分类决策
顺序式：按顺序搭建多个模型，模型之间存在依赖关系，最终整合模型

随机森林分类器

随机森林分类器是投票式的集成模型，核心思想是训练数个并行的决策树，对所有决策树的输出做投票处理，为了防止所有决策树生长成相同的样子，决策树的特征选取由最大熵增变为随机选取

梯度上升决策树

梯度上升决策树不常用于分类问题（可查找到的资料几乎全在讲回归树），其基本思想是每次训练的数据是（上次训练数据,残差）组成（不清楚分类问题的残差是如何计算的），最后按权值组合出每个决策树的结果

代码实现

导入数据集——泰坦尼克遇难者数据

import pandas as pd
titan = pd.read_csv("http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt")
print(titan.head())

   row.names pclass  survived  \
0          1    1st         1   
1          2    1st         0   
2          3    1st         0   
3          4    1st         0   
4          5    1st         1   

                                              name      age     embarked  \
0                     Allen, Miss Elisabeth W