利用AdaBoost元算法的分类器（代码笔记）

最新推荐文章于 2023-07-30 21:10:59 发布

原创

最新推荐文章于 2023-07-30 21:10:59 发布 · 857 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #AdaBoost #集成方法 #监督学习 #单层决策树

本文介绍了AdaBoost，一种集成方法，属于监督学习。AdaBoost通过串行训练多个分类器，特别是单层决策树，来提升分类性能。新分类器会针对前一轮分类错误的数据进行重点训练，并调整数据权重，从而提高整体分类效果。

AdaBoost是一种集成方法。属于监督学习。

将不用的分类器组合起来，这种方法称为集成方法（ensemble method）或元算法（meta-algorithm）

------------------------------------------------------------------------------------------------------------------------

bagging：原名自举汇聚法（bootstrap aggregating）。从原数据集(大小为N)中有放回地抽取S个新数据集(大小也为N)，这意味着某个新数据集中可以有重复的或没有原数据某值。将S个数据集用于某学习算法得到S个分类器(这些分类器的类型一致)，再用S个分类器投票分类新数据。每个分类器权重相等，我们称其为并行训练。比如，随机森林就是种先进的bagging方法。

boosting：与bagging类似的集成分类器。但这里不同的分类器是串行训练获得的，因为新分类器会参考已训练分类器的性能(新分类器会集中关注已有分类器分错的数据)，而且这些分类器的权重并不相等。（看下面的权重D，每得到一个stump后，算法会增加分错数据的权重，降低分对数据的权重）

------------------------------------------------------------------------------------------------------------------------

↓ 基于单层决策树的AdaBoost分类器，一种常用的boosting方法：

import numpy as np
'''
1 单层决策树，一种弱分

最低0.47元/天解锁文章