GBDT与XGBoost速度对比

最新推荐文章于 2025-04-07 21:22:19 发布
原创 最新推荐文章于 2025-04-07 21:22:19 发布 · 950 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习

同样的数据量，在同样的环境下的速度对比

正负样本数量：142287,711435

参数设置：

model_xgb=XGBClassifier(learning_rate=0.1,max_depth=5,n_estimators=300,subsample=0.6,objective='binary:logistic',n_jobs=10,enable_categorical=True)
#model_GBDT = GradientBoostingClassifier(max_depth=5, n_estimators=300, subsample=0.6, max_features=0.5)

用时对比：

GBDT：

predict used time: 2145.752547979355
train and predict used time all: 10983.663108110428

XGBoost：

predict used time: 1919.792335987091
train and predict used time all: 9046.629899263382
 

XGBoost 相比传统 GBDT 有何不同？XGBoost 的特点是什么？XGBoost 为什么快？XGBoost 如何支持并行？
luoziyi927的博客
09-27 349
（0）实际上GBDT泛指所有梯度提升树算法包括XGBoost，为了区分，通常GBDT特指只用了一阶导数信息的算法。 （1）传统GBDT仅以CART回归树作为基分类器，xgboost还支持线性分类器，这个时候xgboost相当于带L1和L2正则化项的逻辑斯蒂回归（分类问题）或者线性回归（回归问题）。 （2）传统GBDT在优化时只用到一阶导数信息，xgboost则对代价函数进行了二阶泰勒展开，同时用到了一阶和二阶导数。xgboost工具支持自定义代价函数，要求函数可一阶和二阶求导。 （3）xgboost在
为什么XGBoost效果更好，速度更快
仍歌杨柳春风
10-25 8238
xgboost 是一种集成学习方法，通过构建多棵决策树来实现分类和回归任务。 本文记录了xgboost的公式推导和系统实现的一些trick。 具体内容参加原论文《XGBoost: A Scalable Tree Boosting System》 模型描述 对于一棵决策树，给定以下符号表示 ∣T∣|T|∣T∣: 此棵树的叶子节点数 q(x)q(\textbf{x})q(x): x\textbf{x}...
6.3 API ： XGBoost
柳杰的博客
01-23 527
文章目录一. XGBoost1.通用参数2.Booster参数3.学习目标参数二、参数调参三、实例四、常用调参-GridSearch 一. XGBoost 完整参数 XGBoost的参数一共分为三类: 通用参数：宏观函数控制 Booster参数：控制每一步的booster(tree/regression)。booster参数一般可以调控模型的效果和计算代价。我们所说的调参，很大程度上都是在调整booster参数 学习目标参数：控制训练目标的表现。我们对于问题的划分主要体现在学习目标参数上。比如我们要做分类
xgboost分类_Xgboost和GBDT的区别？
weixin_39524703的博客
12-12 512
从网上抄的------------1.传统GBDT以CART作为基分类器，xgboost还支持线性分类器，这个时候xgboost相当于带L1和L2正则化项的逻辑斯蒂回归（分类问题）或者线性回归（回归问题）。2.传统GBDT在优化时只用到一阶导数信息，xgboost则对代价函数进行了二阶泰勒展开，同时用到了一阶和二阶导数。顺便提一下，xgboost工具支持自定义代价函数，只要函数可一阶和二阶求导。3...
LightGBM 算法原理
weixin_33963594的博客
04-23 1320
为什么80%的码农都做不了架构师？>>> ...
科普：GBDT与XGBoost比较
最新发布
qiy_icbc的博客
04-07 830
XGBoost是GBDT的“工程化增强版”，在保持Boosting核心思想的同时，通过数学优化（二阶导数、正则化）和工程优化（并行化、分布式）大幅提升了模型的效率和效果，成为当前结构化数据建模的首选工具。GBDT则作为基础算法，适合学习Boosting原理或小规模场景快速验证。实际应用中，XGBoost凭借其全面优势，已在绝大多数场景中取代传统GBDT。
【算法】GBDT & XGBoost
qq_36643449的博客
05-18 4398
一、GBDT GDBT(Gradient Boosting Decision Tree)是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终结果。它在被提出之初就和SVM一起被认为是泛化能力（generalization）较强的算法。近些年更因为被用于搜索排序的机器学习模型而引起广泛关注。 GBDT是一个应用很广泛的算法，可以用来做分类、回归。在很多的数据上都有很不错的效果 1.1 决策树 决策树分为俩大类，分类树和回归树。分类树是我们比较熟悉的决策树，比如C4.5分类决策树。分类树用
GBDT、XGBoost、LightGBM的区别和联系
景风眠的博客
03-12 1732
本文详细阐述了GBDT、XGBoost和LightGBM的区别和联系。
随机森林、GBDT和xgboost
ZIZIBONG'S BLOG
05-14 904
RF 和 GBDT联系和区别 1、RF（随即森林） 原理 用随机的方式建立一个森林，森林里面有很多的决策树，随机森林的每一棵决策树之间是没有关联的。在得到森林之后，当有一个新的输入样本进入的时候，就让森林中的每一棵决策树分别进行一下判断，看看这个样本应该属于哪一类（对于分类算法），然后看看哪一类被选择最多，就预测这个样本为那一类。 2、RF 优缺点 优点： 在数据集上表现良好，两个随机性的引入，使得随机森林不容易陷入过拟合。 在当前的很多数据集上，相对其他算法有着很大的优势，两个随机性的引入，使得随机森林
【回顾】GBDT、XGBoost、LightGBM原理及对比
qq_42189083的博客
10-18 1123
本文主要简要的比较了常用的boosting算法的一些区别，从AdaBoost到LightGBM,包括AdaBoost,GBDT,XGBoost,LightGBM四个模型的简单介绍，一步一步从原理到优化对比。 AdaBoost概述 Adaboost(Adaptive Boosting，自适应增强)算法是一种提升方法，将多个弱分类器，组合成强分类器。它的自适应在于：前一个弱分类器分...
GBDT、Xgboost、LightGBM对比
真心乖宝宝的博客
09-09 769
LightGBM 与 XGBoost 的不同点 1. 由于在决策树在每一次选择节点特征的过程中，要遍历所有的属性的所有取值并选择一个较好的。XGBoost 使用的是近似算法，先对特征值进行预排序 Pre-sort，然后根据二阶梯度进行分桶，能够更精确的找到数据分隔点；但是复杂度较高。LightGBM 使用的是直方图算法，这种只需要将数据分割成不同的段即可，不需要进行预先的排序。占用的内存更低，数据分割的复杂度更低。 2.决策树生长策略，XGBoost 采用的是 Level-wise 的树生长策略，Ligh
GBDT/XGBoost/LightGBM
缘 源 园
03-24 939
LigthGBM是boosting集合模型中的新进成员，是微软开源的一个实现 GBDT 算法的框架，它和XGBoost一样是对GBDT的高效实现，原理上它和GBDT及XGBoost类似，都采用损失函数的负梯度作为当前决策树的残差近似值，去拟合新的决策树。
GBDT和XGB算法问题总结
lizz2276的博客
06-02 2901
集成模型知识整理 GBDT相关的问题总结 1GBDT为什么用CART回归树做基学习器？ 2GBDT不擅长处理离散特征，你在应用的时候是怎么处理的 3GBDT在回归和多分类当中有什么不同，在预测的时候的流程是怎样的 4GBDT如果损失函数换成exponent会怎样，有什么变化？ 5GBDT的优点和局限性有哪些？ 6GBDT在什么情况下比逻辑回归算法要差？ 7GBDT与RF区别 8GBDT和xgb的区别有哪些？ 9GBDT和RF哪个树比较深 10为什么gbdt不能用分类树？ XGB算法问题总结 1为什么xgb要
XGBoost vs lightGBM vs CatBoost
zephyr_wang的博客
11-29 1014
1 简介 本文比较了XGBoost、LightGBM 、 Catboost。 本文基于2019年1月《Benchmarking and Optimization of Gradient Boosting Decision Tree Algorithms》翻译总结。GBDT算法的基准和优化。 总体结论是这三个算法，没有一个是具有领先地位的，或者说都在伯仲之间。XGBoost在GPU上可以更快的训练，在多分类任务上准确率也高，但在部分大数据任务上会因使用内存太大，不能运行。而lightGBM虽然运行慢，但在单分
机器学习算法总结11:XGBoost
qq_35946628的博客
03-09 1403
XGBoost(Extreme Gradient Boosting)是于2015年提出的Gradient Boosting实现算法，在速度和精度较GBDT有显著提升。 XGBoost以类似牛顿法的方式进行优化。 任何机器学习问题都可以从目标函数出发，目标函数分为两部分：损失函数+正则化项，其中，损失函数用于描述模型拟合数据的程度，正则化项用于控制模型的复杂度。 与GDBT一样，XGBoost采用加...
为什么lightgbm计算速度 比xgboost快那么多
qq_18668137的博客
05-11 516
为什么lightgbm计算速度 比xgboost快那么多
实现XGBoost1.0版本-慢的要死，但准确率还能忍
weixin_44264662的博客
09-16 2709
实现XGBoost 目录 XGBoost算法推导 XGBoost算法实现 使用自制的数据集进行测试 使用波士顿数据集进行测试，并与sklearn中的Adaboost,RandomForest进行对比 XGBoost算法推导 XGBoost是梯度提升树中的改进算法，所以具有梯度提升树中的一些共性，同时也存在自己的个性 对于梯度提升树算法来说，有三个关键部分需要明确 能够让弱评估器集成的手段（迭...
介绍一下xgb_xgb、lgb、cab的cpu与gpu性能比较
weixin_36252618的博客
01-03 1620
本想自己测试一下，不过arxiv上居然已经有大佬做过实验了，so，直接搬运过来好了；作者在文中主要要探究三个问题：1.在使用基于gpu进行模型训练，xgb、lgb和cab可以期望相对于cpu得到多少加速度？2.使用贝叶斯优化并且使用gpu加速训练的情况下，哪一种算法能够更快的收敛3.承接第二点，哪一种算法能够得到最好的泛化性能（原文有很多背景介绍的知识，这里就不啰嗦了，感觉关系不大，感兴趣的可以自...
关于GBDT和XGBoost的一点小总结
weixin_44607838的博客
01-27 698
GBDT（Gradient Boosting Decision Tree) GBDT,中文直译可以叫做梯度提升树。是一种典型的基于Boosting集成思想的算法。在整个算法的运行过程中，我们每一个阶段训练一棵树（弱学习器），但是每一棵树的构建都是基于上一阶段的结果，这也充分体现了Boosting的思想，从错误中不断学习。 具体是怎样的呢？假设我们的数据集D={(xi,yi)},i=1,2,3…,n。然后目前我们处于第m阶段，那么我们已经有了一棵树 Fm-1(x), 此时我们的损失函数是 我们当然希望我们的L
gbdt和xgboost区别
03-15
### GBDT与XGBoost的主要区别及对比分析 #### 1. 基本定义 GBDT（Gradient Boosting Decision Tree）是一种基于决策树的集成学习方法，其核心思想是通过迭代的方式逐步构建弱分类器并将其组合成强分类器。每次迭代都会根据前一次预测的结果计算残差，并尝试拟合这些残差来减少整体误差[^5]。 XGBoost则是GBDT的一种高效实现版本，由陈天奇博士开发，不仅继承了GBDT的核心思想，还在此基础上进行了多项优化，显著提高了模型的训练速度和预测精度[^2]。 --- #### 2. 泰勒展开的应用 XGBoost在目标函数的设计中引入了二阶导数的信息，通过对损失函数进行泰勒展开近似处理，使得优化过程更加精确。这种做法能够更全面地捕捉数据中的非线性特性，从而提高模型的表现能力[^1]。 相比之下，传统的GBDT仅依赖于一阶导数（即梯度信息），忽略了更高阶的信息，在某些复杂场景下可能无法达到最优效果。 --- #### 3. 正则化项的加入 为了防止过拟合，XGBoost在其目标函数中加入了正则化项，包括L1正则化（Lasso）和L2正则化（Ridge）。这有助于控制模型复杂度，使最终得到的模型更具泛化能力。 而标准的GBDT通常不显式包含这样的正则化机制，因此在面对噪声较多的数据集时可能会表现出较差的鲁棒性。 --- #### 4. 特征分裂策略 在节点划分过程中，XGBoost采用了更为精细的特征选择方式——它会综合考虑增益得分以及对应的代价因子，确保每一次分割都能带来最大的收益。此外，XGBoost支持稀疏感知分裂技术，对于含有缺失值的情况也能自动找到最佳切分点。 GBDT虽然也具备一定的特征重要性和权重评估功能，但在实际操作层面往往显得较为简单粗暴，缺乏像XGBoost那样灵活高效的解决方案。 --- #### 5. 并行计算的支持 得益于底层C++框架的强大支撑，XGBoost充分利用多核CPU资源实现了列块级别的并行加速，大幅缩短了整个训练周期的时间消耗。与此同时，该工具包还兼容GPU硬件环境下的高性能运算模式，进一步拓宽了适用范围。 传统意义上的GBDT由于序列化的本质属性限制，难以直接利用现代计算机体系结构的优势来进行快速部署应用。 --- #### 6. 缺失值处理 当遇到样本存在部分字段为空的情形时，XGBoost内置了一套专门设计好的默认方向填充逻辑，默认情况下会选择让实例沿着左子树或者右子树前进，以此最大程度保留原始分布规律不变形。 而在常规版GBDT里，则一般采用简单的均值填补法或者其他固定数值替代手段应对这种情况，显然不如前者那么智能化且适应性强。 --- ```python import xgboost as xgb from sklearn.datasets import make_classification from sklearn.model_selection import train_test_split # 构造模拟数据集 X, y = make_classification(n_samples=1000, n_features=20, random_state=42) # 划分训练集测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 定义DMatrix对象供后续调用 dtrain = xgb.DMatrix(X_train, label=y_train) dtest = xgb.DMatrix(X_test, label=y_test) # 设置参数配置字典 params = { 'objective': 'binary:logistic', 'eval_metric': 'error', 'max_depth': 6, 'eta': 0.3, } # 开始训练流程 bst = xgb.train(params=params, dtrain=dtrain, num_boost_round=100, evals=[(dtest,'eval')], early_stopping_rounds=10) ``` 上述代码片段展示了如何借助`xgboost`库完成基本建模任务的过程演示。 --- ### 总结 综上所述，尽管GBDT作为一种经典的机器学习算法已经取得了广泛的成功，但随着需求日益增长和技术不断进步，人们迫切需要一种更快更强的新一代替代品。正是在这种背景下诞生出来的XGBoost凭借诸多技术创新成功脱颖而出成为当前最流行的开源项目之一[^3]。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值