2. AdaBoost算法

原创 已于 2022-05-11 11:23:02 修改 · 805 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #分类

于 2022-05-10 17:38:54 首次发布
AdaBoost是一种提升算法，通过弱学习器的加权组合形成强分类器。它通过提高错误分类样本的权重，不断迭代优化，降低分类错误率。前向分步算法用于构建加法模型，指数损失函数作为优化目标。AdaBoost具有自适应性，能应对数据不平衡，但对异常样本敏感，且训练耗时。

        AdaBoost是一个具有代表性的提升算法（Boosting）。

一、提升方法（Boosting）

（1）强可学习与弱可学习

        在概率近似正确（PAC）学习的框架中，一个概念（一个类）如果存在一个多项式的学习算法能够学习它，并且正确率很高，则称为这个概念是强可学习的；如果存在一个多项式的学习算法能够学习它，并且正确率仅比随机猜想略好，那么称为这个概念是弱可学习的。可以证明，强可学习与弱可学习是等价的。通常，发现弱可学习算法通常要比发现强可学习算法容易的多。

（2）提升方法

        提升方法是一种集成学习方法，其基本思想是：针对训练集，从若学习算法出发，反复学习，得到一系列地弱学习器，然后通过一定的结合策略组合这些弱分类器，形成一个强分类器。大多数提升算法都是改变训练数据的概率分布（权值分布）。针对不同的训练数据分布调用弱学习算法学习一系列弱分类器。

         提升算法的学习过程可以总结为：

        ① 初始化样本权重；

        ② 基于弱学习算法学习得到弱学习器，并基于损失函数最小化，更新样本的权值并计算弱分类器的权重系数；

        ③ 重复第②步操作，直到达到某个阈值；

        ④ 将上述得到的一系列的弱学习器按照一定的结合策略进行组合得到强学习器。

        对提升算法来说，需要解决两个问题：一是如何改变训练数据的概率（权值）分布；二是如何将弱分类器组合成一个强分类器。

        AdaBoost针对第一个问题，采取的策略是提高被错误分类的样本的权值，降低被争取分类的样本的权值；对于第二个问题，采用的加权多数表决方法，加大分类错误率低的弱分类器的权重，减小分类错误率高的弱分类器的权重。

二. 前向分步算法

       提升方法实际采用加法模型（即基函数的线性组合）与前向分步算法。

        加法模型如下：

f(x) = \sum_{m=1}^{M} \beta _{m} * b(x;\gamma _{m})

        其中，b(x, \gamma _{m} )表示基函数，\gamma_{m}是基函数的参数，\beta _{m}是基函数的系数。

        在给定训练数据以及损失函数L(y, f(x))的情况下，学习加法模型f(x)成为经验风险最小化问题即损失函数极小化问题：

min_{\beta _{m}, \gamma _{m}} \sum_{i=1}^{N} L(y_i, \sum_{m=1}^{M} \beta _{m} * b(x_i;\gamma _{m}))

        这是一个复杂的优化问题，可以采用前向分步算法进行求解。前向分步算法的思路是：因为学习的是加法模型，如果能从前向后，每一步只学习一个基函数及其系数，逐步逼近目标函数，则可以简化优化问题的复杂度。每一步只需优化如下损失函数：

min_{\beta , \gamma } \sum_{i=1}^{N} L(y_i, \beta * b(x_i;\gamma ))

        前向分步算法的学习过程如下：

        输入：训练数据集\{(x_{1}, y_1 ), (x_2, y_2), ..., (x_N, y_N)\}，损失函数L(y, f(x))，基函数集\{b(x;\gamma )\}；

        输出：加法模型

最低0.47元/天 解锁文章
AdaBoost（Adaptive Boosting）算法
TOUCH的博客
10-26 907
优点：无需手动设计弱分类器（默认决策树桩即可）；对噪声不敏感（相比其他Boosting算法）；可解释性较强（弱分类器权重反映重要性）。缺点：训练时间随弱分类器数量增加而增长；对异常值敏感（错分样本权重持续放大）；难以处理高维稀疏数据（需配合特征选择）。适用场景：二分类/多分类任务（如欺诈检测、图像识别），尤其适合中等规模数据集。
机器学习实战之AdaBoost元算法（二）AdaBoost算法
weixin_45814668的博客
09-13 822
转载请注明作者和出处：https://blog.csdn.net/weixin_45814668 知乎：https://www.zhihu.com/people/qiongjian0427 Git：https://github.com/qiongjian/Machine-learning/ 运行环境：anaconda—jupyter notebook Python版本： Python3.x 更多精彩内容，尽在微信公众号，欢迎您的关注： 目录1 基于单层决策树构建弱分类器2 完整AdaBoost算法的实现3
机器学习---Adaboost算法
weixin_43961909的博客
12-12 3031
③将1和2都分错了的样本加上其他的新样本构成另一个新的N个的训练样本，通过对这个样本的学。过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类。该算法其实是一个简单的弱分类算法提升过程，这个过程通过不断的训练，可以提高对数据的分类。②将分错的样本和其他的新数据一起构成一个新的N个的训练样本，通过对这个样本的学习得到第。①使用加权后选取的训练数据代替随机选取的训练样本，这样将训练的焦点集中在比较难分的训练。大的权重，而分类效果差的分类器具有较小的权重。
头歌机器学习 --- Adaboost 第二关：Adaboost算法
qq_53229073的博客
12-08 7324
头歌机器学习 — Adaboost第二关：Adaboost算法 ```python # encoding=utf8 import numpy as np from sklearn.tree import DecisionTreeClassifier from sklearn.ensemble import AdaBoostClassifier # adaboost算法 class AdaBoost: ''' input:n_estimators(int):迭代轮数
Adaboost训练过程的详解
xjz18298268521的博客
10-13 2940
Adaboost 总结 1、     概述 Adaboost简单来说就是将多个分类器整合成一个分类器，是boosting的扩展和延续。是一种迭代算法，在每一轮加入一个新的弱分类器，直到达到某个预定的足够小的错误率，最后得到一个由多个弱分类器组成的强分类器。每一个样本在训练时都被赋予一个权值，表明它被某个分类器选入训练集的概率。如果某个样本点已经被正确分类，那么在构造下一个训练集时，它的相应的权
集成学习（二）AdaBoost算法
guofei_fly的博客
11-24 431
在 集成学习（一）概述中，我们简要介绍了集成学习的核心思想的三大主流框架。本文重点介绍boosting框架中，基于样本权值调整的一种算法：AdaBoost。 AdaBoost（Adaptive Boosting），顾名思义，是一种自适应式的boosting算法，即每轮按照预测的规则，自动调整子学习器中训练样本的权重和子学习器的线性权重。 一、正、负样本权重的平衡 ...
机器学习算法（2）——AdaBoost算法
知识搬运工的博客
01-18 2191
Boosting算法 提升算法/Boosting是一种提高弱分类器准确度的方法。 通常在分类问题中，boosting通过改变训练样本的权重，学习多个分类器，并将这些分类器线性组合，提高分类性能。一组弱分类器可以创建一个强大的分类器。 Boosting 就是通过组合许多弱分类器（只比随机选择好一点）来产生一个强大的分类器组。且弱分类器的设计简单没有太大计算量。 boost...
【老生谈算法】adaboost算法matlab实现.doc.doc
11-04
2. Adaboost算法的Matlab实现：我们使用Matlab语言来实现Adaboost算法，包括训练集、测试集、弱分类器和强分类器的定义。 3. 阈值分类器：我们使用阈值分类器来实现弱分类器，该分类器根据样本的特征值来进行分类。 ...
机器学习AdaBoost.M2算法在砂砾岩流体识别中的应用.pdf
09-24
【摘要】中提到的机器学习AdaBoost.M2算法在砂砾岩流体识别中的应用，是一种解决复杂储层流体识别难题的方法。砂砾岩因其复杂的岩石结构和非均质性，使得常规测井技术在识别流体类型时面临挑战。AdaBoost.M2算法是一...
基于Matlab使用BP-Adaboost算法弱分离器预测（源码+数据）.rar
06-28
1、资源内容：基于Matlab使用BP_Adaboost算法弱分离器预测（源码+数据）.rar 2、适用人群：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业或毕业设计，作为“参考资料”使用。 3、解压说明：本资源...
Adaboost算法.docx
03-03
"Adaboost算法" Adaboost算法是一种迭代算法，核心思想是针对同一个训练集训练不同的分类器（弱分类器），然后把这些弱分类器集合起来，构成一个更强的最终分类器（强分类器）。其算法本身是通过改变数据分布来实现...
AdaBoost 算法
Rnan_prince的博客
02-06 4834
AdaBoost 算法 是一种经典的集成学习算法，它将多个弱分类器集成起来，以达到较高的分类准确率，广泛应用于数据分类、人脸检测等应用中。尤其在人脸检测方面，AdaBoost 是非常经典、成功的一个算法。弱分类器被线性组合成为一个强分类器。 一、面临两个问题： 在每一轮，如何改变训练数据的概率分布或者权值分布。 如何将弱分类器组合成强分类器。 二、AdaBoost 的思路： ...
集成算法 学习笔记（二） Adaboost的算法简介和推导
weixin_44264662的博客
09-10 294
Adaboost算法简介： Adaboost集成算法通过基于上一次的预测结果，调整每一次样本的权重值（增加分类错误的样本权重，减少分类正确的样本权重），使得在下一次进行预测时，更加关注那些分类错误的样本。 最终的分类器为 f(x)=sign(∑i=1MαmGm(x))f(x) = sign\big(\sum\limits_{i=1}^M\alpha_mG_m(x)\big)f(x)=sign(i=...
机器学习笔记2：AdaBoost算法原理和推导详解
zhuzuwei的博客
06-01 1万+
1. 相关概念：（1）集成算法（ensemble）或元算法（meta-algorithm): 是对其他算法进行组合的一种方式；可以是不同的算法集成，也        可以是同一算法在不同设置下的集成，还可以是数据集不同部分分配给不同分类器之后的集成。(2) 弱分类器：”弱“意味着分类器的性能比随机猜测要好，但是也不会好太多。(3) 错误率 ε： ε = 未被正确分类的样本数目 / 所有样本数目2....
集成学习算法：AdaBoost原理详解以及基于adaboost的图像二分类代码实现
热门推荐
Yaoyao2024的博客
05-05 1万+
AdaBoost，是英文"Adaptive Boosting"（自适应增强）的缩写，由Yoav Freund和Robert Schapire在1995年提出。AdaBoost（Adaptive Boosting）是一种集成学习算法集成学习算法其实不能理解为一种具体算法（像knn、kmeans这样十分具体的算法），它其实是一种算法策略、算法框架。它的核心是在于，将多个弱学习器（模型）结合（集成），从而得到一个更强大的模型。提高整体的性能和稳定性。💡说的好像很轻松，“结合”，那么具体如何结合呢？
《推荐系统笔记（三）》Adaboost算法 —— 弱分类器组合成强分类器的方法
qq_30841655的博客
06-25 2524
前言 我们将介绍将弱分类器组合成强分类器的算法，Adaboost算法，以及该算法有效的证明。 对于这种提升方法，我们有 每次迭代加大误分类点的权重，这样下次生成的弱分类器能够更可能将该误分类点分类正确 每次迭代生成弱分类器的权重，对于误分类率低的弱分类器，我们在最终结果中给予更高的权重 1. 算法 输入：数据集 T={(x1,y1),(x2,y2),...,(xN,yN)}T=\{(x_1, y_1), (x_2, y_2), ..., (x_N, y_N)\}T={(x1​,y1​),(x2​,y2
Boosting和Adaboost算法
L20221121_的博客
04-14 1119
个子模型，再将模型最后相结合得到一个强学习器，这属于。个子模型，每个模型权重大小一样。若每个子模型正确率为。，则整体正确率为多少？若把每个子模型正确率提升到。1、现在有一份数据，你随机的将数据分成了。2、对于一个二分类问题，假如现在训练了。，则整体正确率为多少？
基于AdaBoostSVM的不平衡数据训练（原理+代码，超详细）
WGS.
04-08 3355
文章目录Boosting思想AdaBoostSVM最大间隔支持向量 & 支持向量平面寻找最大间隔AdaBoostSVM代码实现 Boosting思想 ​ Boosting一族是可将弱学习器提升为强学习器的算法，它的思想就是每一个基分类器纠正前一个基分类器的错误，至于纠正的方式不同所以有不同的boosting算法。算法思想如下： 1.先从训练集训练出一个基学习器。 2.再根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做错的训练样本在后续得到较大的关注。 3.然后基于调整后的样本分布来训
使用Adaboost训练检测器
xbcReal的博客
12-21 2626
        做了一段时间的adaboost训练一个可以检测张开的手掌的检测器，最后训练出来的效果不错，在保证较高的检测率的情况下还能保持几乎没有误检的情况出现，adaboost用在物体检测上的效果让我大吃一惊。adaboost的特点是误检测少，且速度快，因为在检测的时候采用滑窗法对窗口挨个进行一个二分类(是手掌或者不是手掌)，但是大多数窗口无法通过前面几个stage的分类器就直接被判断为负样本...
任务描述 相关知识 数据集介绍 Adaboost算法原理 Adaboost算法流程 编程要求 测试说明 任务描述 本关任务：用 Python 实现 Adaboost，并通过鸢尾花数据集中鸢尾花的 2 种属性与种类对 Adaboost 模型进行训练。我们会调用你训练好的 Adaboost 模型，来对未知的鸢尾花进行分类。 相关知识 为了完成本关任务，你需要掌握：1. Adaboost 算法原理，2. Adaboost 算法流程。 数据集介绍 数据集为鸢尾花数据，一共有 150 个样本，每个样本有 4 个特征，由于 Adaboost 是一个串行的迭代二分类算法，运算成本较大，为了减轻运算成本，我们只利用其中两个特征与两种类别构造与训练模型，且 adaboost 算法返回的值为 1 与 -1，所以要将标签为 0 的数据改为 -1 部分数据如下图：
最新发布
11-18
以下是使用 Python 实现 Adaboost 算法，利用鸢尾花数据集中的 2 种属性与种类对 Adaboost 模型进行训练，并使用训练好的模型对未知鸢尾花进行分类的示例代码： ```python from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from sklearn.ensemble import AdaBoostClassifier from sklearn.tree import DecisionTreeClassifier # 加载鸢尾花数据集 iris = load_iris() # 选择 2 种属性 X = iris.data[:, :2] y = iris.target # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42) # 创建 Adaboost 分类器 adbt = AdaBoostClassifier(DecisionTreeClassifier(max_depth=2, min_samples_split=20, min_samples_leaf=5), algorithm="SAMME", n_estimators=10, learning_rate=0.8) # 训练模型 adbt.fit(X_train, y_train) # 对未知鸢尾花进行分类（使用测试集） predictions = adbt.predict(X_test) # 输出预测结果 print("预测结果:", predictions) ``` ### 代码解释 1. **数据加载与属性选择**：使用 `load_iris` 函数加载鸢尾花数据集，并选择前 2 种属性作为特征 `X`，目标变量为 `y` [^1]。 2. **数据集划分**：使用 `train_test_split` 函数将数据集划分为训练集和测试集，测试集占比 30%。 3. **创建 Adaboost 分类器**：使用 `AdaBoostClassifier` 创建 Adaboost 分类器，基分类器选择决策树分类器 `DecisionTreeClassifier`，并设置相关参数 [^2]。 4. **模型训练**：使用 `fit` 方法对训练集进行训练。 5. **预测**：使用 `predict` 方法对测试集进行预测，并输出预测结果。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值