一文掌握XGBoost核心原理

机器学习——XGboost模型 阅读详情

XGBoost是经典的提升树学习框架,其配套论文和PPT分享也相当经典,本文简单梳理其思路,原文见XGBoost原理简介。

整体思路

和一般提升模型一样,提升树模型也遵循相同的范式

  • 采用加法模型「forward stage-wise manner」
  • 每轮引入一weak learner「此处是一棵CART树」
  • 学习之前weak learners的不足「用梯度表征」

同时要考虑过拟合等问题「overfitting is everywhere」。

Tree Ensemble

遵循李航老师统计学习三要素公式

方 法 = 模 型 + 策 略 + 算 法 方法=模型+策略+算法 方法=模型+策略+算法

假设空间「模型」

Tree Ensemble基本思想是将多棵树的结果融合作为最终输出,示意图如下

paper-xgboost-tree-ensemble

不难看出,模型的假设空间是一系列CART树的集成,输出为

y ^ i = ∑ k = 1 K f k ( x i ) , f k ∈ F \hat y_i = \sum_{k=1}^{K} f_k(x_i), \quad f_k \in F y^​i​=k=1∑K​fk​(xi​),fk​∈F

其模型参数为 K K K颗树

⊝ = { f 1 , f 2 , … , f K } \circleddash = \{f_1, f_2, \dots, f_K\} ⊝={ f1​,f2​,…,fK​}

目标函数「策略」

模型假设有了,另一个核心元素就是目标函数,和一般监督模型一样

O b j ( ⊝ ) = L ( ⊝ ) + Ω ( ⊝ ) Obj(\circleddash)=L(\circleddash)+\Omega(\circleddash) Obj(⊝)=L(⊝)+Ω(⊝)

目标函数分两部分「Bias-variance tradeoff is everywhere」

  • Training Loss measures how well model fit on training data
  • Regularization measures complexity of model

具体到Tree Ensemble,其目标函数为

O b j = ∑ i = 1 n l ( y i , y ^ i ) + ∑ k = 1 K Ω ( f k ) Obj = \sum_{i=1}^{n} l(y_i, \hat y_i) + \sum_{k=1}^{K}\Omega(f_k) Obj=i=1∑n​l(yi​,y^​i​)+k=1∑K​Ω(fk​)

优化求解「算法」

模型参数的最终求解。参数 ⊝ = { f 1 , f 2 , … , f K } \circleddash = \{f_1, f_2, \dots, f_K\} ⊝={ f1​,f2​,…,fK​}为 K K K颗树,无法用SGD类似方法优化求解,因为不是 R d R^d Rd空间上的数值向量。一般采用Additive Training(Boosting)的思想求解。

Gradient Boosting

Tree Ensemble章节回答了what we are learning的问题,Gradient Boosting章节要回答how do we learn的问题。

Additive Traing范式

采用Additive Training(Boosting)的模式,即每一轮学习一颗新树 f t f_t ft​

paper-xgboost-boosting

学习一颗新树

问题是每一轮 y ^ i ( t ) = y ^ i ( t − 1 ) + f t ( x i ) \hat y_i^{(t)} = \hat y_i^{(t-1)} + f_t(x_i) y^​i(

从原理到调参:一文搞懂LightGBM、XGBoost和随机森林的核心差异(Python代码示例) 本文深入解析了机器学习领域三大主流集成学习算法——LightGBM、XGBoost和随机森林的核心原理与性能差异,通过Python代码示例详细展示了各算法的调参策略。从计算效率、数据处理能力到模型解释性进行全面对比,帮助开发者根据项目需求选择最优算法,提升预测性能。 阅读详情

相关推荐

一文速学-XGBoost模型算法原理以及实现+Python项目实战_xgboost金融领域模型实战

集成模型Boosting补完计划第三期了,之前我们已经详细描述了AdaBoost算法模型和GBDT原理以及实践。通过这两类算法就可以明白Boosting算法的核心思想以及基本的运行计算框架,余下几种Boosting算法都是在前者的算法之上改良得到,尤其是以GBDT算法为基础改进衍生出的三种Boosting算法:XGBoost、LightGBM、CatBoost。

2401_84166376的博客 1566

一文速学-XGBoost模型算法原理以及实现+Python项目实战_xgboost金融领域模型实战(1)

这里不再复述,仅讲XGBoost改动,我们知道单独的使用GBDT模型,容易出现过拟合,在实际应用中往往使用 GBDT+LR的方式做模型训练。一般情况下,我们的树模型越深越茂密那么复杂度越高,或者叶子节点值越大模型复杂度越高。在XGBoost算法的实现中,是采用下式来衡量模型复杂度的:其中代表叶子节点个数,:各个叶子节点值的求和,:超参数,控制惩罚程度。那么我们将原目标函数的和给取代掉:那么此时我们定义在叶子结点中的实例的集合为:计算损失函数时是以样本索引来遍历的。

2401_84166376的博客 1250

一文速学-XGBoost模型算法原理以及实现+贷款违约预测模型Python项目实战

集成模型Boosting补完计划第三期了,之前我们已经详细描述了AdaBoost算法模型和GBDT原理以及实践。通过这两类算法就可以明白Boosting算法的核心思想以及基本的运行计算框架,余下几种Boosting算法都是在前者的算法之上改良得到,尤其是以GBDT算法为基础改进衍生出的三种Boosting算法:XGBoost、LightGBM、CatBoost。大家应该都对XGBoost算法模型熟悉但是对GBDT模型一无所知,看过之前GBDT的读者应该对GBDT模型有了一个很清楚的认知,对于理解XGBoos

master_hunter的博客 1万+

XGBoost三部曲:XGBoost原理

一文弄懂xgboost原理

阿黎逸阳的博客 626

ML之XGBoost:XGBoost算法(Kaggle神器)的简介(原理/特点/核心技术/关键思路)、算法流程(目标函数/评价函数)、案例应用之详细攻略

​ ML之XGBoost:XGBoost算法(Kaggle神器)的简介(原理/特点/核心技术/关键思路)、算法流程(目标函数/评价函数)、案例应用之详细攻略 目录 XGBoost算法模型的简介(资源) XGBoost算法模型的安装 XGBoost算法模型的使用方法 XGBoost算法模型的案例应用 XGBoost算法模型的简介(资源) XGBoost 是eXtreme Gradient Boosting的简称。XGBoost是由 Tianqi Chen最初开

头部AI社区如有邀博主AI主题演讲请私信—心比天高,仗剑走天涯,保持热爱,奔赴向梦想!低调,专注,谦虚,自律,反思,成长,还算比较正能量的博主,公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然,有点小情怀,也有点使命感呀 1153

获取上传至DMS服务器上文件的URL

如果需要失效时间延长会设置URL永久有效, 可以去修改函数SCMS_URL_GENERATE的参数DURATION 或EXPIRATION ,DURATION最大时间是999999,若需要永久有效,则需要设置EXPIRATION的时间,这时系统会忽略DURATION的参数,生成URL的时候 SCMS_URL_GENERATE会调用SCMS_URL_SIGN函数这是其中默认这是了URL的生效时间为两小时。

一只学习的渣渣 544

LVGL配置文件lv_conf.h详解

lv_conf.h是一个用户级别的文件,它不属于内核的部分,因此,在不同的工程中,该文件有可能存在差异。lv_conf.h文件具有两大功能:(1)配置功能:内存、屏幕刷新周期、输入设备的读取周期,等等;(2)裁剪功能:使能失能某些功能,有效地优化Flash的分配。

qq_28576837的博客 5561

<蓝桥杯软件赛>零基础备赛20周--第16周--GCD和LCM

gcd,lcm

罗勇军的博客 7616

微信小程序如何集成EasyRTC实现零插件音视频通话?5步搞定完整接入流程

本文详细介绍了如何在微信小程序中集成EasyRTC SDK,实现零插件的实时音视频通话功能。通过5个关键步骤,包括环境配置、SDK初始化、核心功能实现、性能优化和问题排查,帮助开发者快速完成WebRTC技术在小程序中的落地应用,解决微信小程序原生不支持实时音视频通信的技术难题。

weixin_28340315的博客 144

手把手教你用Origin拟合真应力-真应变曲线:从数据到加工硬化指数n的完整流程

本文详细解析了如何使用Origin软件拟合真应力-真应变曲线并计算加工硬化指数n的全流程。从数据预处理、曲线绘制到Hollomon方程拟合,逐步指导材料科学研究人员完成实验数据分析,帮助准确评估金属材料的力学性能与强化特性。

view3的博客 723

3D高斯溅射融合Gabor滤波器:频率感知如何提升神经渲染效率与质量

在计算机视觉与图形学领域,3D场景重建旨在从多视角图像中恢复真实世界的三维结构与外观。其核心原理是通过优化场景表示,使渲染出的二维图像与输入照片尽可能一致。传统方法在效率与细节保真度间常面临权衡,高频细节(如精细纹理、锐利边缘)的重建尤为消耗算力。频率感知技术为此提供了突破方向,它借鉴信号处理思想,将场景分解为不同空间频率的成分进行针对性建模。Gabor滤波器作为经典的频率-方向分析工具,能有效刻画纹理的局部频域特征。将Gabor的频率选择性与3D高斯溅射(3DGS)这一高效显式表示结合,构成了神经Gabo

weixin_33087827的博客 273

带硬约束的物理信息神经网络(PINN with Hard Constraint)示例及代码

本文以一个案例介绍了带硬约束的物理信息神经网络的原理及实现步骤。

m0_72768523的博客 5359

YOLO11改进 - 卷积Conv | DEGConv(方向引导边缘门控卷积) : 空间分块、方向先验、轻量边缘增强

本文介绍了方向引导边缘门控卷积(DEGConv),一种专为增强边缘敏感度与方向感知能力设计的轻量级模块。该方法通过 Sobel 算子生成方向嵌入,结合条纹卷积提取水平与垂直边缘特征,并利用门控机制动态抑制背景噪声,从而精准捕捉细粒度结构。我们将 DEGConv 成功集成进 YOLO11,在 Backbone 的 SPPF 后及 Neck 的 P3、P4 分支中引入该模块以优化特征提取。实验证明,集成 DEGConv 的 YOLO11 在检测任务中表现优异,有效提升了模型对复杂边缘与方向特征的建模能力。

魔改工程师的博客 679

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

下一篇: Linear/Logistic/Softmax Regression对比
「已注销」
博客等级 码龄10年 4粉丝 18原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值