Boosting以及代表算法(Adaboost、GBDT)介绍

最新推荐文章于 2025-10-02 10:18:08 发布
原创 最新推荐文章于 2025-10-02 10:18:08 发布 · 2.9k 阅读 · 26 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#算法 #boosting #机器学习

Boosting是一种集成学习方法，通过组合多个弱学习器形成强学习器。Adaboost通过迭代调整样本权重，使弱学习器关注难以分类的样本。GBDT则是基于梯度提升的决策树算法，通过最小化损失函数的负梯度来优化模型。这两种方法都旨在提高模型的预测能力和泛化性能。

一、Boosting介绍

1.什么是Boosting

Boosting（提升）是一种集成学习方法，通过组合多个弱学习器来构建一个强学习器。与Bagging不同，Boosting采用了序列化的方式构建模型，每个弱学习器都是在前一个弱学习器的基础上进行训练，通过逐步调整样本的权重或难易程度来提高模型的预测性能。

简而言之：没新加入一个弱学习器，整体能力就会得到提升

代表算法有：Adaboost，GBDT，XGBoost，LightGBM

2.Boosting的实现过程

  1. 训练第一个学习器

    在这里插入图片描述

  2. 调整数据分布

    在这里插入图片描述

  3. 训练第二个学习器

    在这里插入图片描述

  4. 再次调整数据分布

    在这里插入图片描述

  5. 依次训练学习器，调整

最低0.47元/天 解锁文章
Better Me
关注
人工智能知识全面讲解：Boosting族算法
Lee达森的博客
06-28 7385
9.2.1 Boosting是什么Boosting是一类算法的统称，翻译成中文为“自适应”算法，它们的主要 特点是使用一组弱分类器通过“迭代更新”的方式构造一个强分类器。在每轮 迭代中会在训练集上产生一个新的弱分类器，然后使用该弱分类器对所有样本 进行分类，从而评估每个样本的重要性。从中文名可以看出来，Boosting算法 的每轮学习都会根据数据调整参数，不断提升模型的准确率。 Boosting算法的工作机制如图9-3所示。它首先基于训练样本生成一个弱 学习器，然后基于弱学习器的表现调整样本分布，即增加错误
模型融合和提升算法详解（bagging和boosting）
weixin_43595430的博客
04-29 3093
1.两者的区别 （1）样本的选择上：Bagging：训练集是在原始数据上进行有放回的随机抽样，在原始数据中选出的各个训练集是相互独立的。Boosting：每一轮的训练集不变，只是训练集当中每一个样本在分类器当中的权重发生变化，且权重是根据上一轮的分类结果进行调整。 （2）样本权重：Bagging：进行均匀抽样，每一个样本的权重相等。Boosting：根据上一轮分类结果的错误率不断调整样本的权重，错...
深挖Adaboost数学原理：从损失函数到公式推导，看懂为什么它能变强
最新发布
cjd688的博客
10-02 834
对于二分类问题（标签y∈1−1y∈1−1），Adaboost 的整体强分类器为Hxsign∑t1TαthtxHxsign∑t1T​αt​ht​xLHExyexp⁡−y⋅HxLHExy​exp−y⋅Hx))其中E⋅E⋅表示对所有样本的期望（实际训练中用样本加权和近似）。我们可以把损失函数拆分成 “每一轮迭代的累积损失”。假设第tttHtx∑k1tαkh。
【ML】boosting、stacking、bagging、blending是什么？怎么用？
凝眸伏笔的博客
04-07 1175
感觉算法面试必不可少的一个问题：boosting、stacking、bagging、blending是什么？有什么区别？ 下面整理一下相关知识，巩固熟悉一下。最上面的为内容简练后的汇总，最下面说的太复杂(如果想多了解，可往后看)： 【占位：内容简练】 1.bagging和boosting的区别： 二者的主要区别是取样本方式不同。bagging采用均匀取样，而boosting根据错误率来采样...
Boosting学习笔记（Adboost、GBDT、Xgboost）
weixin_34148456的博客
05-03 1386
转载请注明出处：http://www.cnblogs.com/willnote/p/6801496.html 前言 本文为学习boosting时整理的笔记，全文主要包括以下几个部分： 对集成学习进行了简要的说明 给出了一个Adboost的具体实例 对Adboost的原理与学习过程进行了推导 针对GBDT的学习过程进行了简要介绍 针对Xgboost的损失函数进行了简要介绍 给出了Adboost实例...
boosting系列算法
热门推荐
jingshuiliushen_zj的博客
10-25 2万+
boosting是一种集成学习算法，由一系列基本分类器按照不同的权重组合成为一个强分类器，这些基本分类器之间有依赖关系。包括Adaboost算法、提升树、GBDT算法。 一、Adaboost算法 1、基本思想 通过两个问题： 1）如何更新样本权重D? 提高被弱分类器错分样本的权值，降低正分样本的权值，作为下一轮基本分类器的训练样本。 2）如何将弱分类器组合成强分类器？ 加权多数表决，误差率小的分...
集成学习——Boosting算法：Adaboost、GBDT、XGBOOST和lightGBM的简要原理和区别
gjinc的博客
07-25 4139
Boosting算法是通过串联的方式，将一组弱学习器提升为强学习器算法。它的工作机制如下：（1）用初始训练集训练出一个基学习器；（2）依据基学习器的表现对训练样本分布进行调整，使得之前做错的训练样本在之后中得到最大的关注；（3）用调整后的样本分布进行下一个基学习器；（4）重复2-3的步骤，直到基学习器的数量达到了指定的T值后（5）将T个基学习器进行加权组合得到集成的学习器。而根据策略不同，会有Adaboost和GBDT、XGBoost三种常见的Boosting算法。
Boosting族算法--Adaboost算法与GBDT算法原理(简单易懂)
热衷于开源，热爱人工智能领域，时常分享机器学习，数据挖掘项目及方法，我们一起努力！
02-21 5261
Boosting算法
集成学习Boosting框架算法（Adaboost与GBDT）
qq_43602667的博客
12-03 998
Boosting,AdaBoost,GBDT
集成学习boosting算法：Adaboost&GBDT&Xgboost&LightGBM&CatBoost
[ 25'h ]
03-20 1万+
boosting算法：Adaboost&GBDT&Xgboost&LightGBM&CatBoost
机器学习集成学习算法——boosting系列
myy1012010626的专栏
06-24 4568
本篇基于机器学习（edt：周志华）的集成学习章节，衍生学习多种boosting集成学习算法。集成学习（ensemblelearning）通过构建并结合多个学习器来完成学习任务，有时也被称为多分类器系统（multi-calssifiersystem）。目前的集成学习方法大致可以分为两大类：•个体学习器间存在强依赖关系、必须串行生成的序列化方法•个体学习器间不存在强依赖关系、可同时生成的并行化方法前者...
Boosting算法简介
07-27
Boosting算法简介笔记 Boosting算法简介笔记 Boosting算法简介笔记
Boosting GBDT
kakak_的博客
03-28 262
梯度提升树(Gradient Boosting Decison Tree, GBDT) GBDT是集成学习Boosting家族的成员，也是使用前向分布算法迭代，但是迭代思路和传统的Adaboost有很大的不同。弱学习器也限定了只能使用CART回归树模型。 Adaboost 利用前一轮迭代弱学习器的误差率来更新训练集的权重，这样一轮轮的迭代下去。 GBDT 假设前一轮迭代得到的强学习器...
Boosting原理及其应用
laiqun_ai的专栏
07-05 3377
一、背景 故事：    某男到医院就诊，医生亲切地问了一些该男的症状，最后得出结论：“医生说我怀孕了。。。” 血淋淋的故事告诉我们：     需要一个好的诊断器：根据病人的一系列症状，得出病人患的是什么病。   实际上，这是一个分类问题。   分类问题很常见： 1) 博客男女 2) OCR 3) 情感分类 4) 查询意
Boosting算法总览
qq_42791848的博客
01-07 369
Boosting 本章节讲解提升算法，主要是提升树，提升树实际上是采用加法模型和前向分步算法，并且以决策树为基学习器。下面我们就依次来介绍这几个概念 Additive Model 下面我们来看加法模型，加法模型的定义非常简单，其实就是所有基学习器的一个线性组合 H(x) = ∑t=1Tαtht(x) H(x)\ =\ \sum_{t=1}^{T}\alpha_{t}h_t(x) H(x) = t=1∑T​αt​ht​(x) Boosting算法一种比较容易理解的推导方
boosting和bagging
weixin_34308389的博客
06-25 283
首先来说明一下bootstraps：可以把它认为是一种有放回的抽样方法。 bagging：boostraps aggregating（汇总） boosting：Adaboot （Adaptive Boosting）提升方法 提升（boosting）：在分类问题中，通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类的性能。 思想：提升方法就是从弱学习算法出发，反复学...
Boosting的介绍
diaochunliu5111的博客
03-23 215
今天在博客上看到了一则关于boosting的介绍，实乃不错，原文地址见右：http://stblog.baidu-tech.com/?p=19 文章从3个方面介绍了boosting，boosting的发展历史，重点介绍二类adaboost，多分类adaboost。令人眼前一亮的是，在纵多的关于boosting的优点的介绍中，都只说明了它的简单性，可用性，以及及时多次训练也不会ov...
Boosting 和 AdaBoost
weixin_46556352的博客
04-05 2151
1. BoostingBoosting 体现了提升思想，每一个训练器重点关注前一个训练器不足的地方进行训练，通过加权投票的方式，得出预测结果。 Bagging 与 Boosting 区别一:数据方面 Bagging：有放回采样 Boosting：全部数据集, 重点关注前一个弱学习器不足 区别二:投票方面 Bagging：平权投票 Boosting：加权投票 区别三:学习顺序 Bagging的学习是并行的，每个学习器没有依赖关系 Boosting学习是串行，学习有先后顺序 6.1算.
boosting 方法
schwt的博客
11-10 692
boosting方法
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值