集成学习——AdaBoost

最新推荐文章于 2025-07-01 18:34:01 发布
原创 最新推荐文章于 2025-07-01 18:34:01 发布 · 818 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了AdaBoost分类器及回归器的应用场景，并通过多种数据集进行了实证研究。详细分析了不同参数如基础分类器类型、学习率、算法选择等对模型表现的影响。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

import matplotlib.pyplot as plt
import numpy as np
from sklearn import datasets,cross_validation,ensemble

加载数据集

#糖尿病病人
def load_data_regression():
    diabetes=datasets.load_diabetes()
    return cross_validation.train_test_split(diabetes.data,diabetes.target,test_size=0.25,random_state=0)

#手写识别数据集Digit Dataset
def load_data_classification():
    digits=datasets.load_digits()
    return cross_validation.train_test_split(digits.data,digits.target,test_size=0.25,random_state=0)

AdaBoostClassifier分类器

模型原型

class sklearn.ensemble.AdaBoostClassifier(base_estomator=None,n_estimators=50,learning_rate=1.0,algorithm=’SAMME.R’,random_state=None)
参数

  • base_estomator:基础分类器对象(默认为DecisionTreeClassifier)
  • n_estimators:指定基础分类器的数量(默认为50)
  • learning_rate:用于减少每一步的步长，防止步长太大而跨过了极值点
  • algorithm:指定算法，用于多类分类问题
    • ’SAMME.R’:使用SAMME.R算法,基础分类器对象必须支持计算类别的概率
    • ‘SAMME’:使用SAMME算法
  • random_state

属性

  • estimators_:所有训练过的基础分类器
  • classes_
  • n_classes
  • estimatorweights
  • estimatorerrors
  • featureimportances

方法

  • fit(X,y[,samples_weight])
  • predict(X)
  • predict_log_proba(X)
  • predict_proba(X)
  • score(X,y[,samples_weight])
  • staged_predict(X)
  • staged_predict_proba(X)
  • staged_score(X,y[,samples_weight])

使用AdaBoostClassifier类

def test_AdaBoostClassifier(*data):
    X_train,X_test,y_train,y_test=data
    clf=ensemble.AdaBoostClassifier(learning_rate=0.1)
    clf.fit(X_train,y_train)
    #绘图
    fig=plt.figure()
    ax=fig.add_subplot(1,1,1)
    estimators_num=len(clf.estimators_)
    X=range(1,estimators_num+1)
    ax.plot(list(X),list(clf.staged_score(X_train,y_train)),label='Training score')
    ax.plot(list(X),list(clf.staged_score(X_test,y_test)),label='Testing score')
    ax.set_xlabel('estimator num')
    ax.set_ylabel('score')
    ax.legend(loc='best')
    ax.set_title('AdaBoostClassifier')
    plt.show()

X_train,X_test,y_train,y_test=load_data_classification()
test_AdaBoostClassifier(X_train,X_test,y_train,y_test)

不同类型的个体分类器的影响

def test_AdaBoostClassifier_base_classifier(*data):
    from sklearn.naive_bayes import GaussianNB
    X_train,X_test,y_train,y_test=data
    fig=plt.figure()
    ax=fig.add_subplot(2,1,1)

    #默认的个体分类器
    clf=ensemble.AdaBoostClassifier(learning_rate=0.1)
    clf.fit(X_train,y_train)
    #绘图
    estimators_num=len(clf.estimators_)
    X=range(1,estimators_num+1)
    ax.plot(list(X),list(clf.staged_score(X_train,y_train)),
        label='Training score')
    ax.plot(list(X),list(clf.staged_score(X_test,y_test)),
        label='Testing score')
    ax.set_xlabel('estimator num')
    ax.set_ylabel('score')
    ax.legend(loc='lower right')
    ax.set_ylim(0,1)
    ax.set_title('AdaBoostClassifier with Decision Tree')

    #Gaussian Naive Bayes个体分类器
    ax=fig.add_subplot(2,1,2)
    clf=ensemble.AdaBoostClassifier(learning_rate=0.1,
        base_estimator=GaussianNB())
    clf.fit(X_train,y_train)
    #绘图
    estimators_num=len(clf.estimators_)
    X=range(1,estimators_num+1)
    ax.plot(list(X),list(clf.staged_score(X_train,y_train)),
        label='Training score')
    ax.plot(list(X),list(clf.staged_score(X_test,y_test)),
        label='Testing score')
    ax.set_xlabel('estimator num')
    ax.set_ylabel('score')
    ax.legend(loc='lower right')
    ax.set_ylim(0,1)
    ax.set_title('AdaBoostClassifier with Gaussian Naive Bayes')
    plt.show()

test_AdaBoostClassifier_base_classifier(X_train,X_test,y_train,
    y_test)

学习率的影响

def test_AdaBoostClassifier_learning_rate(*data):
    X_train,X_test,y_train,y_test=data
    learning_rates=np.linspace(0.01,1)
    fig=plt.figure()
    #SAMME.R算法
    ax=fig.add_subplot(2,1,1)
    training_scores=[]
    testing_scores=[]
    for learning_rate in learning_rates:
        clf=ensemble.AdaBoostClassifier(learning_rate=learning_rate,
            n_estimators=500)
        clf.fit(X_train,y_train)
        training_scores.append(clf.score(X_train,y_train))
        testing_scores.append(clf.score(X_test,y_test))
    ax.plot(learning_rates,training_scores,label='Training score')
    ax.plot(learning_rates,testing_scores,label='Testing score')
    ax.set_xlabel('learning rate')
    ax.set_ylabel('score')
    ax.legend(loc='best')
    ax.set_title('AdaBoostClassifier(SAMME.R)')

    #SAMME算法
    ax=fig.add_subplot(2,1,2)
    training_scores=[]
    testing_scores=[]
    for learning_rate in learning_rates:
        clf=ensemble.AdaBoostClassifier(learning_rate=learning_rate,
            n_estimators=500,algorithm='SAMME')
        clf.fit(X_train,y_train)
        training_scores.append(clf.score(X_train,y_train))
        testing_scores.append(clf.score(X_test,y_test))
    ax.plot(learning_rates,training_scores,label='Training score')
    ax.plot(learning_rates,testing_scores,label='Testing score')
    ax.set_xlabel('learning rate')
    ax.set_ylabel('score')
    ax.legend(loc='best')
    ax.set_title('AdaBoostClassifier(SAMME)')
    plt.show()

test_AdaBoostClassifier_learning_rate(X_train,X_test,y_train,y_test)

algorithm的影响

def test_AdaBoostClassifier_algorithm(*data):
    X_train,X_test,y_train,y_test=data
    algorithms=['SAMME.R','SAMME']
    fig=plt.figure()
    learning_rates=[0.05,0.1,0.5,0.9]
    for i,learning_rate in enumerate(learning_rates):
        ax=fig.add_subplot(2,2,i+1)
        for i,algorithm in enumerate(algorithms):
            clf=ensemble.AdaBoostClassifier(learning_rate=learning_rate,
                algorithm=algorithm)
            clf.fit(X_train,y_train)
            #绘图
            estimators_num=len(clf.estimators_)
            X=range(1,estimators_num+1)
            ax.plot(list(X),list(clf.staged_score(X_train,y_train)),
                label='%s:Training score'%algorithms[i])
            ax.plot(list(X),list(clf.staged_score(X_test,y_test)),
                label='%s:Testing score'%algorithm[i])
        ax.set_xlabel('estimator num')
        ax.set_ylabel('score')
        ax.legend(loc='lower right')
        ax.set_title('learning rate:%f'%learning_rate)
    fig.suptitle('AdaBoostClassifier')
    plt.show()

test_AdaBoostClassifier_algorithm(X_train,X_test,y_train,y_test)

AdaBoostRegreddor回归器

模型原型

class sklearn.ensemble.AdaBoostRegressor(base_estimator=None,n_estimators=50,learning_rate=1.0,loss=’linear’, random_state=None)
参数

  • base_estimator
  • n_estimators
  • learning_rate
  • loss:指定损失函数
    • ’linear’:线性损失函数（默认）
    • ‘square’:平方损失函数
    • ‘exponential’:指数损失函数
  • random_state

属性

  • estimators_
  • estimatorweights
  • estimatorerrors
  • featureimportances

方法

  • fit(X,y[,sample_weight])
  • predict(X)
  • score(X,y[,sample_weight])
  • staged_predict(X)
  • staged_score(X,y[,sample_weight])

使用AdaBoostRegressor类

def test_AdaBoostRegressor(*data):
    X_train,X_test,y_train,y_test=data
    regr=ensemble.AdaBoostRegressor()
    regr.fit(X_train,y_train)
    #绘图
    fig=plt.figure()
    ax=fig.add_subplot(1,1,1)
    estimators_num=len(regr.estimators_)
    X=range(1,estimators_num+1)
    ax.plot(list(X),list(regr.staged_score(X_train,y_train)),
        label='Training score')
    ax.plot(list(X),list(regr.staged_score(X_test,y_test)),
        label='Testing score')
    ax.set_xlabel('estimator num')
    ax.set_ylabel('score')
    ax.legend(loc='best')
    ax.set_title('AdaBoostRegressor')
    plt.show()

X_train,X_test,y_train,y_test=load_data_regression()
test_AdaBoostRegressor(X_train,X_test,y_train,y_test)

不同类型的个体分类器的影响

def test_AdaBoostRegressor_base_regr(*data):
    from sklearn.svm import LinearSVR
    X_train,X_test,y_train,y_test=data
    fig=plt.figure()
    regrs=[ensemble.AdaBoostRegressor(),ensemble.AdaBoostRegressor
        (base_estimator=LinearSVR(epsilon=0.01,C=100))]
    labels=['Decision Tree Regressor','Linear SVM Regressor']
    for i,regr in enumerate(regrs):
        ax=fig.add_subplot(2,1,i+1)
        regr.fit(X_train,y_train)
        #绘图
        estimators_num=len(regr.estimators_)
        X=range(1,estimators_num+1)
        ax.plot(list(X),list(regr.staged_score(X_train,y_train)),
            label='Training score')
        ax.plot(list(X),list(regr.staged_score(X_test,y_test)),
            label='Testing score')
        ax.set_xlabel('estimator num')
        ax.set_ylabel('score')
        ax.legend(loc='lower right')
        ax.set_ylim(-1,1)
        ax.set_title('Base_Estimator:%s'%labels[i])
    plt.suptitle('AdaBoostRegressor')
    plt.show()

test_AdaBoostRegressor_base_regr(X_train,X_test,y_train,y_test)

学习率的影响

def test_AdaBoostRegressor_learning_rate(*data):
    X_train,X_test,y_train,y_test=data
    learning_rates=np.linspace(0.01,1)
    fig=plt.figure()
    ax=fig.add_subplot(1,1,1)
    training_scores=[]
    testing_scores=[]
    for learning_rate in learning_rates:
        regr=ensemble.AdaBoostRegressor(learning_rate=learning_rate,
            n_estimators=500)
        regr.fit(X_train,y_train)
        training_scores.append(regr.score(X_train,y_train))
        testing_scores.append(regr.score(X_test,y_test))
    ax.plot(learning_rates,training_scores,label='Training score')
    ax.plot(learning_rates,testing_scores,label='Testing score')
    ax.set_xlabel('learning rate')
    ax.set_ylabel('score')
    ax.legend(loc='best')
    ax.set_title('AdaBoostRegressor')
    plt.show()

test_AdaBoostRegressor_learning_rate(X_train,X_test,y_train,y_test)

损失函数的影响

def test_AdaBoostRegressor_loss(*data):
    X_train,X_test,y_train,y_test=data
    losses=['linear','square','exponential']
    fig=plt.figure()
    ax=fig.add_subplot(1,1,1)
    for i,loss in enumerate(losses):
        regr=ensemble.AdaBoostRegressor(loss=loss,n_estimators=30)
        regr.fit(X_train,y_train)
        #绘图
        estimators_num=len(regr.estimators_)
        X=range(1,estimators_num+1)
        ax.plot(list(X),list(regr.staged_score(X_train,y_train)),label='Training score:loss=%s'%loss)
        ax.plot(list(X),list(regr.staged_score(X_test,y_test)),label='Testing score:loss=%s'%loss)
        ax.set_xlabel('estimator num')
        ax.set_ylabel('score')
        ax.legend(loc='lower right')
        ax.set_ylim(-1,1)
    plt.suptitle('AdaBoostRegressor')
    plt.show()

test_AdaBoostRegressor_loss(X_train,X_test,y_train,y_test)
集成学习——AdaBoost算法的优化与应用
VnReact的博客
09-14 267
本文详细介绍了AdaBoost算法的原理、优化技巧以及实际应用。AdaBoost算法通过多轮迭代，不断调整样本权重，将多个弱分类器组合成一个强分类器，能够有效解决复杂问题。通过适当选择优化技巧和参数设置，可以进一步提高AdaBoost算法的分类性能。大家可以根据自己的需求和问题特点，灵活应用AdaBoost算法来解决实际问题。
集成学习②——Adaboost算法原理及python实现
cindy407的博客
07-06 2107
一、AdaBoost算法原理 上一偏博客总结过，集成学习基于弱学习器之间是否依赖分为Boosting和Bagging两类, Adaboost就是Boosting中的典型代表。 AdaBoost是英文"Adaptive Boosting"（自适应增强）的缩写，它的自适应在于：基于每一个分类器的误差率，来更新所有样本的权重，前一个分类器被错误分类的样本的权值会增大，而正确分类的样本的权值会减小，并再次...
Adaboost
shiyueyue0822的博客
03-13 2758
Adaboost这种增强学习方法之前是看过很多资料都没看懂，最近看李航的《统计学习方法》和 其他几位同学的博客，才明白了其中的原理。 参考资料：https://blog.csdn.net/guyuealian/article/details/70995333 李航的《统计学习方法》 什么是增强学习？ 增强学习即boosting，它的基本思想是集成思...
adaboost
gaopengxiazhibing的博客
07-04 2720
1 Adaboost的原理 1.1 Adaboost是什么 AdaBoost，是英文"Adaptive Boosting"（自适应增强）的缩写，由Yoav Freund和Robert Schapire在1995年提出。它的自适应在于：前一个基本分类器分错的样本会得到加强，加权后的全体样本再次被用来训练下一个基本分类器。 AdaBoost是一种迭代算法，在每一轮中加入一个新的弱分类器，
一文搞懂AdaBoost算法：从原理到实战
最新发布
qiutesting的博客
07-01 892
AdaBoost作为一种经典的集成学习算法，通过组合多个弱分类器和自适应调整样本权重，能够构建出强大的预测模型。​​自适应学习​​：自动关注难样本，不断改进模型​​灵活兼容​​：可与多种基分类器结合使用​​高准确率​​：在许多任务上优于单一模型希望这篇文章能帮助你全面理解AdaBoost算法！
集成学习（三）—— Adaboost的理念和推导
01-20
adaboost也是集成学习的一种，也是很多模型一起做决策，最终投票决定，下面会介绍一下adaboost的理念、流程以及简要推导。 理念 1.错题应该被多做 bagging中的抽样是随机的，但更boosting的策略是使那些被分错类的...
机器学习知识图谱——Adaboost（自适应提升算法）
moton2017的博客
05-30 964
Adaboost 是一种集成学习方法，属于 Boosting 框架，通过组合多个弱分类器形成一个强分类器，提高模型精度。 核心思想：每一轮训练都“关注”前一轮分错的样本，并动态调整样本权重。
机器学习实战——AdaBoost：原理、应用与实践
m0_65481401的博客
01-07 972
AdaBoost作为一种强大的集成学习算法，通过将多个弱分类器结合，能够有效提高模型的预测性能。其主要优势在于易于实现、准确性高且适应性强，广泛应用于图像分类、文本分类等领域。然而，它也存在一些局限性，比如对异常值较为敏感和计算开销较大等。 总的来说，AdaBoost在许多实际应用中表现出色，但要在使用时根据具体的任务进行合理的调优和选择。对于希望提升模型性能的开发者来说，AdaBoost无疑是一个值得尝试的重要工具。
A cascade classifier using Adaboost algorithm
11-16
In this paper, we improve cascade-Adaboost classifier and propose a cascade-Adaboost-SVM classifier.
【原】关于AdaBoost的一些再思考
weixin_34072159的博客
10-16 206
一、Decision Stumps： Decision Stumps称为单层分类器，主要用作Ensemble Method的组件（弱分类器）。一般只进行一次判定，可以包含两个或者多个叶结点。对于离散数据，可以选取该属性的任意一个数据作为判定的分割点；对于连续数据，可以选择属性的一个阈值做为分割点进行判定（大于该阈值分配到一类，小于该阈值分配到另一类；当然也可以选取多个阈值并由此得到多个叶结点）。...
AdaBoost
weixin_30553777的博客
04-23 840
思想~适应~步骤 一、AdaBoost简介 　　AdaBoost是adaptive boosting的缩写，思想就是：复杂任务，多个专家综合判断，比其中任何一个专家单独判断要好，实际上就是‘三个臭皮匠顶个诸葛亮’的道理 　　它的自适应在于：被前一个基本分类器错误分类的样本的权值会增大，而正确分类的样本的权值会减小，权值更新的样本集再次用来训练下一个基本分类器，如此迭代。 　　Adaboos...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值