Boosting 和 Gradient Boosting 理解

最新推荐文章于 2025-10-03 16:50:59 发布
原创 最新推荐文章于 2025-10-03 16:50:59 发布 · 9.7k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入讲解了Boosting的思想，特别是GradientBoosting作为一种模型优化方法的工作原理。它通过将模型分解为可加形式，并进行多次迭代来减少损失函数，最终通过加权合并多个弱模型形成强大的预测模型。

Boosting主要是一种思想，表示“知错就改”。而Gradient Boosting是在这个思想下的一种函数(也可以说模型)的优化方法，首先将函数(模型)分解为可加的形式(其实所有的函数都是可加的，只是是否好放在这个框架中，以及最终的效果如何)。然后进行m次迭代，通过使得损失函数在梯度上减少，最终得到一个优秀的模型。值得一提的是，每次模型在梯度方向上减少的部分，可以认为是一个“小”或者"弱"的模型，最终我们会通过加权(也就是每次在梯度方向上下降的距离)的方式将这些弱的模型合并起来，形成一个更好的模型。


通用的Gradient Descent Boosting的框架：


写成梯度下降的方式就是下面的形式，也就是我们将要得到的模型fm(x)的参数{am,bm}能够使得fm的方向是之前得到的模型Fm-1(x)的损失函数下降最快的方向：


机器学习模型—Gradient Boosting
03-15 4万+
现代Gradient Boosting框架包括GBDT(Gradient Boosting Decision Tree)和XGBoost等。GBDT使用CART决策树作为基函数;而XGBoost在此基础上做了多项改进,包括引入二阶近似、并行计算优化、自动化特征捕捉等。此外,XGBoost还支持各种正则化策略,具有很高的效率和性能。总的来说,Gradient Boosting算法的优势在于可解释性强、抗噪性好、易并行化等,缺点则是可能过拟合、训练可解释性差等。它在回归、分类、排序等多个领域都有广泛的应用。
机器学习经典模型：集成学习——Boosting（Adaboost与gradient boosting）
jesseyule的博客
01-04 2570
集成学习中的boosting主要有两类，Adaboost和gradient boosting，而GBDT和XGboost都是gradient boosting的具体应用。 Boosting和bagging相比，主要的区别在于基学习器之间是相互影响的，是串行训练的，具体来说，当前的学习器的训练是依赖于上一轮学习器的训练结果的，对上一轮学习错误的数据给与更多的关注。 AdaBoost的主要思想是一边训练基学习器，一边调整训练数据的分布，使得该轮基学习器分类错误的数据，在下一轮的训练中能得到更多的权重，不断重复.
一文入门XGBoost：为什么它是工业界的「集成学习扛把子」？
最新发布
cjd688的博客
10-03 777
多分类：通过 “softmax” 输出类别概率，轻松搞定手写数字识别、图像分类等任务；排序任务：内置 “排序损失函数”（如 LambdaRank），是推荐系统中 “用户商品排序” 的常用工具；自定义损失：支持用户传入自己的损失函数（只要能求一阶、二阶导数），满足个性化需求（如金融场景的 “分位数损失”）。
模型组合之梯度提升(Gradient Boosting)
Duckie的博客
10-01 3455
Boosting方法： Boosting这其实思想相当的简单，大概是，对一份数据，建立M个模型（比如分类），一般这种模型比较简单，称为弱分类器(weak learner)每次分类都将上一次分错的数据权重提高一点再进行分类，这样最终得到的分类器在测试数据与训练数据上都可以得到比较好的成绩。 上图就是一个Boosting的过程，绿色的线表示目前取得的模型，虚线表示当前这次模型。每次
Treelink模型测试报告
weixin_30316097的博客
03-04 498
1. 什么是Treelink Treelink是阿里集团内部的叫法，其学术上的名称是GBDT（Gradient Boosting Decision Tree，梯度提升决策树）。GBDT是“模型组合+决策树”相关算法的两个基本形式中的一个，另外一个是随机森林（Random Forest），相较于GBDT要简单一些。 1.1 决策树 应用最广的分类算法之一...
***Gradient Boosting
u014765410的博客
03-09 449
参考博文：机器学习中的数学(3)-模型组合(Model Combining)之Boosting与Gradient Boosting
Boosting算法（提升法和Gradient Boosting）
03-14
### Boosting算法详解 #### 一、Boosting算法概述 ...其中，Gradient Boosting算法以其高效性和灵活性在实际应用中尤为突出。掌握这些算法不仅有助于理解机器学习的原理，还能帮助我们在实际项目中更好地解决问题。
集成学习（三）Gradient Boosting算法
guofei_fly的博客
11-24 1050
一、算法的引出 在集成学习框架中，机器学习模型可写成各子学习器的组合： G(x)=∑m=1Mαmgm(x)G(x)=\sum\limits_{m=1}^M\alpha _mg_m(x)G(x)=m=1∑M​αm​gm​(x)在AdaBoost算法中提供了一种解读Boosting框架的视角，即每一轮子学习器基于上一轮子学习器的表现来调节样本权重，实现模型效果的提升。 但实质上，由于相邻两个子学习器...
Light Gradient Boosting Machine
chengbin20101的博客
08-11 743
原理：LightGBM采用了梯度提升技术，结合了多种优化策略，如直方图算法、带深度限制的Leaf-wise生长策略、单边梯度采样（GOSS）、互斥特征绑定（EFB）等，以提高训练速度和模型性能。模型训练：在训练集上使用LightGBM进行模型训练时，需要指定模型的参数（如学习率、树的数量、树的深度等），并通过交叉验证等方法进行参数调优以获得更好的模型性能。模型评估：在测试集上对训练好的模型进行评估时，可以使用常见的评估指标（如准确率、召回率、F1-score等）来评估模型的性能。
机器学习笔记之集成学习(四)Gradient Boosting
静静的学习就好
03-16 946
上一节介绍了Boosting算法思想。并以加性模型的AdaBoost为例，介绍了理论推导过程。本节将继续介绍Boosting算法系列的另一个样例——Gradient Boosting。
Gradient Boosting
chengbin20101的博客
08-10 1021
Gradient Boosting，即梯度提升算法，是一种集成学习方法，它通过迭代地训练弱学习器（如决策树）来构建一个强学习器，以提高预测性能。Gradient Boosting算法借鉴了梯度下降法的思想，其基本原理是根据当前模型损失函数的负梯度信息来训练新加入的弱学习器，然后将训练好的弱学习器以累加的形式结合到现有模型中。可解释性：相比于一些黑盒模型，Gradient Boosting相对容易解释和理解，可以通过查看每个弱学习器的权重和特征重要性来了解模型的决策过程。学习率一般取小于1的正数。
Boosting for PRML
VergiL Wang的专栏
05-26 213
Boosting方法： Boosting这其实思想相当的简单，大概是，对一份数据，建立M个模型（比如分类），一般这种模型比较简单，称为弱分类器(weak learner)每次分类都将上一次分错的数据权重提高一点再进行分类，这样最终得到的分类器在测试数据与训练数据上都可以得到比较好的成绩。 上图（图片来自prml p660）就是一个Boosting的过程，绿色的线表示目前取得的模型（模型是...
梯度提升（Gradient Boosting ）
倾城之恋的专栏
02-05 873
1、梯度提升 梯度提升方法的特点在于损失函数比较复杂，难以优化。 一般的提升方法的损失函数比较简单。 比如Adaboost中，提升模型是多个弱基学习器的加权和，当基于指数损失函数和前向分步算法优化模型时，最终推导结果相当于：每一步仅需要学习当前基学习器使得所有样本的加权损失最小。 或者在一般提升回归树中，提升模型是多个弱基学习器的和，当基于平方误差损失函数和前向分步算法优化模型时，最终推导结果相当...
【机器学习】Boosting算法-梯度提升算法（Gradient Boosting）
热门推荐
cxyhjl的博客
12-24 1万+
一、原理梯度提升算法是一种集成学习方法，它可以将多个弱分类器或回归器组合成一个强分类器或回归器，提高预测性能。梯度提升算法的核心思想是利用损失函数的负梯度作为残差的近似值，然后用一个基学习器拟合这个残差，再将其加到之前的模型上，从而不断地减小损失函数的值。梯度提升算法有以下几个特点：梯度提升算法可以用任何可微分的损失函数，如平方误差、绝对误差、交叉熵等，这使得它比其他基于指数损失函数的算法更加灵活...
GBDT(Gradient Boosting Decision Tree)
GavinZhou的博客
05-03 8480
GBDT+FFM(FM)+Online Learing(FTRL)是kaggle比赛的重点方法，而且暑期实习面试的时候也有很多面试官问了，还是很有必要学习下的. 我在网上找了下相关资料，感觉讲的都不是很好(可能是我太菜了吧)，所以自己想着写一篇，要是哪里错了，欢迎指正从Ensemble说起Bagging，Boosting和Stacking是集成学习的三种主要的形式.BaggingBagging=Bo
梯度提升决策树-GBDT（Gradient Boosting Decision Tree）
Thinkgamer博客
04-12 8153
转载请注明出处：http://blog.youkuaiyun.com/gamer_gyt 博主微博：http://weibo.com/234654758 Github：https://github.com/thinkgamer 研究GBDT的背景是业务中使用到了该模型，用于做推荐场景，当然这里就引出了GBDT的一个应用场景-回归，他的另外一个应用场景便是分类，接下来我会从以下几个方面去学习...
Boosting 系列算法——4. Gradient Boosting
Kanny
12-19 1486
1. 算法导出 Gradient Boosting 是一种用于回归和分类问题的机器学习技术，其产生的预测模型是弱预测模型的集成，如采用典型的决策树 作为弱预测模型，这时则为梯度提升树（GBT或GBDT）。像其他提升方法一样，它以分阶段的方式构建模型，但它通过允许对任意可微分损失函数进行优化作为对一般提升方法的推广。 Gradient Boosting 算法通过迭代的方式，将多个弱分类器结合成一个强分类器。最简单的解释是在最小二乘回归中，通过最小化均方误差1N∑i(y^i−yi)2{\tfrac {1}{N}
Gradient Boosting详解
kxg916361108的博客
03-10 858
Gradient Boosting是一种集成学习方法，通过迭代地训练弱分类器来构建一个强分类器。与AdaBoost类似，Gradient Boosting也关注之前轮次中被错误分类的样本，但是它的思想更加一般化，可以用于回归问题和分类问题。
gradient boosting和XGBoost
03-28
### Gradient Boosting与XGBoost的关系及区别 Gradient Boosting是一种通用的提升方法，它通过迭代的方式逐步构建模型来最小化损失函数。这种方法的核心思想在于每次训练一个新的弱学习器去拟合之前模型的残差[^1]。 XGBoost（Extreme Gradient Boosting）是对传统Gradient Boosting算法的一种优化实现。它的主要改进体现在以下几个方面： #### 1. **目标函数的设计** XGBoost引入了一个更加灵活的目标函数设计方式，允许用户自定义损失函数。此外，XGBoost还在目标函数中加入了正则项，用于控制模型复杂度，从而减少过拟合的风险。具体来说，其目标函数形式为： \[ \text{Obj}(\theta) = L(y, \hat{y}) + \Omega(f_k), \] 其中 \(L\) 是损失函数，\(\Omega\) 是正则化项[^2]。 #### 2. **分裂增益计算** 在树结构的选择上，XGBoost采用了一种更精确的方法来评估候选节点分裂的质量。它基于二阶泰勒展开近似计算分裂增益，使得即使面对复杂的非凸损失函数也能高效工作。这种技术显著提高了模型性能和收敛速度[^3]。 #### 3. **稀疏感知分割** 针对数据中的缺失值或稀疏特性，XGBoost实现了特殊的处理机制——即所谓的“默认方向”。这意味着当遇到某个特征存在大量缺失值的情况时，算法能够自动决定最佳路径分配策略而不需额外预处理步骤[^4]。 #### 4. **并行化与分布式支持** 尽管单棵树的增长过程本质上是串行操作，但XGBoost充分利用了现代硬件资源，在多个层面实现了高效的并行运算。例如，它可以利用CPU多线程加速直方图统计；同时也提供了强大的分布式框架以便于大规模集群环境下的部署应用[^5]。 以下是两者的对比总结表： | 特性 | Gradient Boosting | XGBoost | |---------------------|--------------------------------------|----------------------------------| | 正则化 | 不具备显式的正则化手段 | 增加了L1/L2正则化选项 | | 缺失值处理 | 需要提前填充或者丢弃 | 自动识别并合理安排缺省分支 | | 并行能力 | 较低 | 支持高度并行化的内部组件 | | 用户可配置参数 | 少 | 提供丰富的调参空间 | ```python import xgboost as xgb from sklearn.datasets import make_classification from sklearn.model_selection import train_test_split # 创建模拟分类数据集 X, y = make_classification(n_samples=1000, n_features=20, n_informative=15, random_state=42) # 划分训练集测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 构建DMatrix对象 dtrain = xgb.DMatrix(X_train, label=y_train) dtest = xgb.DMatrix(X_test, label=y_test) # 设置超参数 params = { 'objective': 'binary:logistic', 'eval_metric': 'error', 'eta': 0.1, 'max_depth': 6, 'lambda': 1, 'alpha': 0.1 } # 训练模型 bst = xgb.train(params=params, dtrain=dtrain, num_boost_round=100, evals=[(dtest,'eval')], early_stopping_rounds=10) ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值