提升方法AdaBoost算法学习笔记

AdaBoost是一种迭代型学习算法,通过调整训练样本权重和学习多个弱分类器,构建强分类器。其主要特点是错误样本权重增大,分类误差率小的弱分类器权重增加。算法包括初始化权重、学习弱分类器、更新权重和构建线性组合四个步骤。加法模型证明了AdaBoost的学习过程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

提升方法AdaBoost算法学习笔记

前言


For xgboost:

为了好好学习xgboost,由于算法基础比较薄弱,曲线救国,从提升方法、提升树、GBDT一步步看起。手头有李航老师的《统计学习方法》以及周志华老师的西瓜书。对比来看,感觉李航老师的相对要好理解一些(步骤比较清晰,公式易懂,当然也有许多的不明白),周老师的西瓜书的算法介绍与公式推导更为直接(周老师喜欢用一些概率分布函数,公式抽象)。本文是依据《统计学习方法》一书做的AdaBoost算法学习笔记。

提升方法是一种统计学习方法,在分类问题中,通过改变训练样本的权重以及学习多个分类器,并将这些分类器进行线性组合,提高分类性能。因此AdaBoost算法是一种迭代型学习算法。

AdaBoost算法两大特点


1.针对训练样本,在每一轮学习过程中,对于前一轮分类错误的样本,在下一轮给予较大的权值使得该样本在下一次学习的过程中能获得分类器更多的关注。

2.针对多个弱分类器,AdaBoost采用加权多数表决的方法,即加大分类误差率小的弱分类器的权值,使其在分类表决中起较大的作用。

AdaBoost算法步骤


1.输入训练数据集:一个二分类的训练数据集,每个样本点由实例(x)与标记(y)组成,样本数为
N

从训练数据中学习一系列弱分类器,然后将这些弱分类器Gm(x)组合成一个强分类器G(x)

2.初始化训练数据的权值分布Dm</

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值