利用AdaBoost元算法的分类器(代码笔记)

本文介绍了AdaBoost,一种集成方法,属于监督学习。AdaBoost通过串行训练多个分类器,特别是单层决策树,来提升分类性能。新分类器会针对前一轮分类错误的数据进行重点训练,并调整数据权重,从而提高整体分类效果。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

AdaBoost是一种集成方法。属于监督学习

将不用的分类器组合起来,这种方法称为集成方法(ensemble method)或元算法(meta-algorithm)

------------------------------------------------------------------------------------------------------------------------

bagging:原名自举汇聚法(bootstrap aggregating)。从原数据集(大小为N)中有放回地抽取S个新数据集(大小也为N),这意味着某个新数据集中可以有重复的或没有原数据某值。将S个数据集用于某学习算法得到S个分类器(这些分类器的类型一致),再用S个分类器投票分类新数据。每个分类器权重相等,我们称其为并行训练。比如,随机森林就是种先进的bagging方法。

boosting:与bagging类似的集成分类器。但这里不同的分类器是串行训练获得的,因为新分类器会参考已训练分类器的性能(新分类器会集中关注已有分类器分错的数据),而且这些分类器的权重并不相等。(看下面的权重D,每得到一个stump后,算法会增加分错数据的权重,降低分对数据的权重)

------------------------------------------------------------------------------------------------------------------------

↓ 基于单层决策树的AdaBoost分类器,一种常用的boosting方法:

import numpy as np
'''
1 单层决策树,一种弱分
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值