基于鸢尾花数据和手写数字,决策树,随机森林,voting,bagging法的比较

本文对比了鸢尾花和手写数字数据集上,决策树、随机森林、bagging及voting方法的性能。在鸢尾花数据中,深度为3的决策树表现最佳,而bagging在基础模型不佳时仍能保持高准确率。手写字母数据中,随着决策树深度增加,性能提升,随机森林在多维特征数据中优于bagging。voting在模型训练结果较好的情况下对提升准确率有限。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

四种方法的具体的原理可以见博文
和西瓜书
先上代码根据结果分析

鸢尾花数据

# evaluate bagging algorithm for classification
from numpy import mean
from numpy import std
from sklearn.datasets import make_classification
from sklearn.model_selection import cross_val_score
from sklearn.model_selection import RepeatedStratifiedKFold
from sklearn.ensemble import BaggingClassifier
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import RandomForestClassifier
# 我们使用多个KNN模型作为基模型演示投票法,其中每个模型采用不同的邻居值K参数:
# get a voting ensemble of models
def base_modellist():
    # define the base models
    models = list()
    models.append(('DT1', DecisionTreeClassifier(max_depth=1)))
    models.append(('DT2',  DecisionTreeClassifier(max_depth=2)))
    models.append(('DT3',  DecisionTreeClassifier(max_depth=3)))
    # define the voting ensemble
    return models
def get_models():
    models = dict()
    models['DT1'] = DecisionTreeClassifier(max_depth=1)
    models['DT2'] = DecisionTreeClassifier(max_depth=2)
    models['DT3'] =  DecisionTreeClassifier(max_depth=3)
    models['DT100'] =  DecisionTreeClassifier(max_depth=100)
    models['bagging1'] = BaggingClassifier(base_estimator=DecisionTreeClassifier(max_depth=1),n_estimators=100,max_samples=0.3)
    models['bagging3'] = BaggingClassifier(base_estimator=DecisionTreeClassifier(max_depth=3),</
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值