机器学习笔记：Boosting

最新推荐文章于 2025-03-10 10:51:47 发布
原创 最新推荐文章于 2025-03-10 10:51:47 发布 · 308 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了集成学习的基本概念，包括Boosting方法的特点及Adaboost、GBDT等算法的工作原理。通过组合多个弱学习器来形成一个强学习器，提高整体预测准确率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

格式驾驭不了，图片大小不会改，可以直接看我的有道笔记：http://note.youdao.com/noteshare?id=8880899dec3d610a02c4988aba1e4e74

 

  • 集成学习：
    • 通过训练若干个弱学习器，并通过一定的结合策略，从而形成一个强学习器
  • Boosting特点
    • 一堆弱分类器组合（提升boosting）成一个强分类器
    • 不断地在错误中学习，迭代降低犯错概率（改变权值）
  • Adaboosting（Adaptive Boosting）:
    • 在之前的学习器的基础上给变样本权重，增加那些被分类错误的样本比重，降低正确样本比重，学习器重点关注被分类错误的样本。最后通过将这些学习器通过加权组合成一个强学习器，具体的，分类正确率高的学习器权重较高，分类正确率低的学习器权重较低。
    • 算法流程：

 

 

  • GBDT(Grasient Boosting Decision Tree ,梯度提升决策树)
    • 迭代决策树算法，有多颗决策树组成，所有树结论累加起来做最终答案
    • 回归树不是分类树，用来做回归预测，调整后也颗用于分类

 

 

 

 

机器学习---Boosting
weixin_43961909的博客
12-12 1190
符合实际情况：almost perfect expert)，根据CNN、ABC、CBS以往的预测表现及实际天气情况作。强学习机（strong learner): 根据得到的弱学习机和相应的权重给出假设（最大程度上。弱学习机（weak learner): 对一定分布的训练样本给出假设（仅仅强于随机猜测），根据有云猜测。找到许多粗略的经验法则比找到一个单一的、高度预。以“人无完人”为基础，结合普通reporter，获得完美专家。传统观念：依赖于专家系统（测的规则要容易得多，也更有效。出综合准确的天气预测。
机器学习篇——boosting
sbjqiaoqiao的博客
04-13 654
boosting是ensemble集成方法之一， 引入函数空间概念，使用损失函数的导数，采用迭代思想优化弱分类器 1、模型 加法模型，即基分类器组合（一般为决策树）、可分类可回归、判别模型 2、策略 引入前向分步算法，让加法模型中每一轮增加的部分由该轮的决策树决定 分类问题时，最小化指数损失函数，即是adaboost算法 回归问题时，最小化自定义的损失函数，每一轮对残差构造回归树，当...
机器学习笔记3 - Boosting方法
CV菜鸟的学习之路
11-04 2090
Table of Contents 1 前言2 AdaBoost3 Boosting Tree 3.1 加法模型和前向分步算法3.2 回归问题的提升树算法 4 Gradient Boosting 1 前言 Boosting的基本思想很简单，就是"三个臭皮匠顶个诸葛亮"。将若干个弱分类器(base learner)组合起来，变成一个强分类器。大多数boost
机器学习-boosting
CShilin's Personal Blogs
08-08 2701
boosting和随机森林在内部使用了决策树，所以继承了树的很多有用性质。 在监督学习领域，有一种想法就是从很多弱分类器重学习得到一个强分类器。boosting算法，也叫AdaBoosting。 注： Boosting意为加强、提升，也就是说将弱分类器提升为强分类器。而我们常听到的AdaBoost是Boosting发展到后来最为代表性的一类。所谓AdaBoost，即Adaptive Boost
机器学习-Boosting(AdaBoost、GBDT)
happy game
02-19 4953
一、集成模型 二、Boosting 1、思想 Boosting：将弱学习器组合成强学习器 Boosting思想：个体学习器之间存在强依赖关系，一系列个体学习器基本都需要串行生成，然后使用组合策略，得到最终的集成模型，这就是boosting的思想。（Bagging为并行，且不存在依赖关系） 2、实现 Boosting可以视为一种自适应基模型： 其中Φm(x)为基函数/弱学习器（一般选用CART） Boosting在集成学习领域是非常耀眼的一类方法，其中又以AdaBo.
机器学习 —— Boosting算法
热门推荐
starter_____的博客
02-15 4万+
Boosting算法（提升法） 算法的三个要素 （1）函数模型：Boosting的函数模型是叠加型的，即F(x)=∑i=1kfi(x;θi)F(x)=∑i=1kfi(x;θi)F(x)=\sum_{i=1}^{k}f_i(x;\theta_i) （2）目标函数：选定某种损失函数作为优化目标E{F(x)}=E{∑i=1kfi(x;θi)}E{F(x)}=E{∑i=1kfi(x;θi)}E\...
机器学习----Boosting算法
最新发布
LZH990的博客
03-10 1028
Boosting算法
机器学习_集成学习之Boosting(提升较弱的模型，以降低弱模型的偏差)
weixin_42504788的博客
01-28 2163
机器学习_集成学习之Boosting(提升较弱的模型，以降低弱模型的偏差)
机器学习：集成学习之boosting
m0_58475958的博客
07-19 4191
1.Boosting介绍 Boosting体现了提升的思想： 每一个训练器重点关注前一个训练器不足的地方进行训练 通过加权投票的方法得出最后的预测结果 2.Boosting和Bagging对比 区别一：数据方面 Boosting：使用的是全部训练样本，根据前一个模型的学习结果调整数据的重要性 Bagging：对数据进行采样训练 区别二：集成策略 Boosting：对所有的弱学习器预测的结果进行平权投票，票数较多的最终的强学习器的预测结果。 Bagging：每一个后边的弱学习器对前一个弱学习器进行
【机器学习】Boosting算法-梯度提升算法（Gradient Boosting）
cxyhjl的博客
12-24 1万+
一、原理梯度提升算法是一种集成学习方法，它可以将多个弱分类器或回归器组合成一个强分类器或回归器，提高预测性能。梯度提升算法的核心思想是利用损失函数的负梯度作为残差的近似值，然后用一个基学习器拟合这个残差，再将其加到之前的模型上，从而不断地减小损失函数的值。梯度提升算法有以下几个特点：梯度提升算法可以用任何可微分的损失函数，如平方误差、绝对误差、交叉熵等，这使得它比其他基于指数损失函数的算法更加灵活...
机器学习之boosting和bagging
m0_37327467的博客
03-08 645
整理出所有介绍boosting的文章进行归纳总结 为什么说GBDT是在拟合残差？残差的计算公式是哪些？
机器学习算法总结之Boosting：Boosting Tree、GBDT
Kaiyuan_sjtu的博客
04-18 4422
写在前面 上一篇 机器学习算法总结之Boosting family：AdaBoost提到Boost但是没说它的整个框架及分类，在这里记一下。 Boosting（提升方法） = 加法模型 + 前向分步算法 + 损失函数 AdaBoost = Boosting + 损失函数是指数函数（基函数任意） Boosting Tree（提升树） = Boosting + 基函数是决策树（损失函数任意...
机器学习算法总结之Boosting：AdaBoost
Kaiyuan_sjtu的博客
04-18 4087
写在前面 正所谓“三个臭皮匠，顶个诸葛亮”，在机器学习中也存在这样的哲理。提升方法（Boosting）就是这样的代表：通过将一系列弱学习器综合提升为强学习器的算法。Boosting族算法的工作机制：（1）先从初试训练集训练出一个基学习器；（2）再根据基学习器的表现对训练样本进行调整，使得先前基学习器做错的训练样本在后续训练中受到更多关注；（3）基于调整后的训练样本继续训练下一个基学习器；（4）如...
机器学习算法之Boosting详解
Jeremy_lf的博客
05-05 2万+
提升方法（Boosting），是一种可以用来减小监督式学习中偏差的机器学习算法。它是通过训练多个弱分类器，最后加权组合成一个强分类器。弱分类器一般是指一个分类器它的分类结果仅仅比随机分类好一点点。 Boosting系列算法最经典的包括AdaBoost算法和GBDT算法。 Boosting是一种递进的组合方式，每一个新的分类器都在前一个分类器的预测结果上改进，所以说boosting是减少bias而b...
Boosting 和 AdaBoost
weixin_46556352的博客
04-05 2126
1. BoostingBoosting 体现了提升思想，每一个训练器重点关注前一个训练器不足的地方进行训练，通过加权投票的方式，得出预测结果。 Bagging 与 Boosting 区别一:数据方面 Bagging：有放回采样 Boosting：全部数据集, 重点关注前一个弱学习器不足 区别二:投票方面 Bagging：平权投票 Boosting：加权投票 区别三:学习顺序 Bagging的学习是并行的，每个学习器没有依赖关系 Boosting学习是串行，学习有先后顺序 6.1算.
[机器学习]提升方法boosting
小白
02-13 487
前言（总结本文的原因）：1.之前听闻阿里面试官很喜欢问gbdt，gradient boosting descent tree2. 统计学课学了boosting和bagging，总搞不清2个单词的区别一、boosting  参考[1] chap8.11. 背景及定义：在PAC（probably approximately correct）学习框架中，一个概念是强可学习的充要条件是这个概念是弱可学习的...
机器学习（七）：提升（boosting）方法
tb店铺搜：FUN STORE玩物社，专业买手挑选送礼好物
05-02 4597
引言：     提升（boosting）方法是一族可将弱学习器提升为强学习器的算法。这族算法的工作机制类似：先从初始训练集训练出一个基学习器，再根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做错的训练样本在后续受到更多关注，然后基于调整后的样本分布来训练下一个基学习器；如此重复进行，直至基学习器数目达到事先指定的值T，最终将这T个基学习器进行加权结合。     本文主要介绍提升方法...
【机器学习】集成学习—Boosting—GBM（Gradient Boosting Machine）解析
Danger的博客
05-06 3788
【机器学习】集成学习—Boosting—GBM（Gradient Boosting Machine）解析
集成学习笔记：Boosting、Bagging与Stacking解析
集成学习是一种机器学习方法，通过结合多个学习算法的预测来创建更强大的模型。这种方法的核心理念是利用多个弱学习器的优点，通过协同工作形成一个强学习器，从而提高整体的预测性能。集成学习主要分为三大类：...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值