监督学习-分类模型6-集成模型（Ensemble）

最新推荐文章于 2024-04-24 08:17:18 发布

原创

最新推荐文章于 2024-04-24 08:17:18 发布 · 2.8k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#集成模型 #分类器 #监督学习

集成分类模型结合多个分类器的预测，如随机森林和梯度提升决策树，通过投票决定最终分类。编程实践中，对比了这几种模型在泰坦尼克号数据上的性能，梯度提升决策树表现最佳，随机森林次之，单一决策树居后。虽然训练时间增加，但综合模型的性能和稳定性更优。

模型介绍

常言道：“一个篱笆三个桩，一个好汉三个帮”。集成分类模型便是综合考量多个分类器的预测结果，从而做出决策。具体分为两种：

一种是利用相同的训练数据同时搭建多个独立的分类模型，然后通过投票的方式，以少数服从多数的原则作出最终的分类决策。代表模型有随机森林分类器（Random Forest Classifier）
另一种是按照一定次序搭建多个分类模型。这些模型之间彼此存在依赖关系。代表模型有梯度提升决策树（Gradient Tree Boosting）

编程实践

依旧使用泰坦尼克号的数据，对比单一决策树、随即森林、梯度提升决策树的性能差异

import pandas as pd

titanic=pd.read_csv('http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt')

X=titanic[['pclass','age','sex']]
y=titanic['survived']

X['age'].fillna(X['age'].mean