基于鸢尾花数据和手写数字，决策树，随机森林，voting，bagging法的比较

最新推荐文章于 2024-11-13 19:48:58 发布

原创

最新推荐文章于 2024-11-13 19:48:58 发布 · 570 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#决策树 #python #sklearn

本文对比了鸢尾花和手写数字数据集上，决策树、随机森林、bagging及voting方法的性能。在鸢尾花数据中，深度为3的决策树表现最佳，而bagging在基础模型不佳时仍能保持高准确率。手写字母数据中，随着决策树深度增加，性能提升，随机森林在多维特征数据中优于bagging。voting在模型训练结果较好的情况下对提升准确率有限。

四种方法的具体的原理可以见博文
和西瓜书
先上代码根据结果分析

鸢尾花数据

# evaluate bagging algorithm for classification
from numpy import mean
from numpy import std
from sklearn.datasets import make_classification
from sklearn.model_selection import cross_val_score
from sklearn.model_selection import RepeatedStratifiedKFold
from sklearn.ensemble import BaggingClassifier
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import RandomForestClassifier
# 我们使用多个KNN模型作为基模型演示投票法，其中每个模型采用不同的邻居值K参数：
# get a voting ensemble of models
def base_modellist():
    # define the base models
    models = list()
    models.append(('DT1', DecisionTreeClassifier(max_depth=1)))
    models.append(('DT2',  DecisionTreeClassifier(max_depth=2)))
    models.append(('DT3',  DecisionTreeClassifier(max_depth=3)))
    # define the voting ensemble
    return models
def get_models():
    models = dict()
    models['DT1'] = DecisionTreeClassifier(max_depth=1)
    models['DT2'] = DecisionTreeClassifier(max_depth=2)
    models['DT3'] =  DecisionTreeClassifier(max_depth=3)
    models['DT100'] =  DecisionTreeClassifier(max_depth=100)
    models['bagging1'] = BaggingClassifier(base_estimator=DecisionTreeClassifier(max_depth=1),n_estimators=100,max_samples=0.3)
    models['bagging3'] = BaggingClassifier(base_estimator=DecisionTreeClassifier(max_depth=3),</

最低0.47元/天解锁文章