极度梯度提升树（eXtreme Gradient Boosting）算法推导

原创 已于 2023-11-17 15:47:34 修改 · 1.1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#算法 #boosting #人工智能

于 2023-11-17 15:36:20 首次发布
本文详细解析了XGBoost算法的数学推导，包括损失函数的构建、正则化项的处理、决策树的构建以及如何通过二阶泰勒展开优化损失函数，突出其过拟合倾向。

一、极度梯度提升树（XGBoost）的算法原理

      极度梯度提升树整体上仍属于GBDT算法，因此算法也一定是由多个基模型组成的一个加性模型，所以模型可以表示为：

                                                     y\hat{} = \sum_{k=1}^{K} f_{k}^{}(x_{i})                            -------（1）

根据前向分布算法，假设第t次迭代的基模型为 f_t{(x)},有：

                                            y\hat{}_{i}^{(t)} = \sum_{k=1}^{t} y\hat{}_{i}^{(t-1)} + f_{t}(x_{i})                   -------（2）

损失函数基本形式由经验损失项和正则化项构成：

                                         L = \sum_{i=1}^{n}l(y_{i},y\hat{}_{i}) + \sum_{i=1}^{t} \Omega (f_{i})             -------（3）

其中 上式第一项为经验损失项，表示训练数据预测值与真实值之间的损失；第二项为正则化项，表示全部t棵树的复杂度之和，这也是算法控制模型过拟合的方法。

    根据前向分布算法，以第t步为例，假设模型对第i 个样本xi 的预测值为：

                                       y\hat{}_{i}^{(t)} = y\hat{}_{i}^{(t-1)} + f_t{(x_{i})}                   --------（4）

其中y\hat{}_{i}^{(t-1)} 是由第一步的模型给出的预测值，其作为一个已知常量存在，f_t{(x_{i})} 作为第t步树模型的预测值。因而式（3）式的目标函数可以表示为：

                                     

最低0.47元/天 解锁文章
基于机器学习的心脏病预测方法（12）——极端梯度提升树（eXtreme Gradient Boosting）
Wendy的博客
02-15 1247
XGBoost是陈天奇提出的一个端对端的梯度提升树系统，该算法在GBDT的基础之上，在算法层面和系统设计层面都做了一些创新性的改进，可以把XGBoost看作是GBDT更好更快的实现。XGBoost在许多机器学习以及数据挖掘的任务中表现惊艳，2015年，kaggle竞赛平台上发布了29个挑战获胜的解决方案，其中17个解决方案用了XGBoost。由于XGBoost在实际任务中的良好表现，因此搞清XGBoost的实现细节对于在实践中应用XGBoost是非常有帮助的。
机器学习 Day14 XGboost（极端梯度提升树）算法
qq_66246715的博客
04-24 1599
1.算法的原理（预测函数，损失函数，优化方法）预测函数和优化方法：从极端梯度提升树我们就会知道，XGboost也是一类提升树，所以预测函数 一般是权重为1的回归决策树(因为涉及到求梯度，要求回归)的求和，优化算法是向前分步算法，即每一步求一个最优决策树损失函数：就是在原本的损失函数上增加一个正则化项（GBDT算法加上正则化项），以此来减小过拟合的分险，具体在XGboost算法里是加上每棵树的惩罚：所以现在我们去优化带正则项的损失函数就行，我们接下来对它 进行化简：2.原理推导，手写推导说明OBJ只与当前构造
【ML】极限梯度提升算法XGBoost（Extrme Gradient Boosting）
Explore
03-25 4906
极端梯度提升XGBoost   XGBoost属于boosting集成学习方法，其基学习器的学习是串行的。CART回归树的加法模型： y^=ϕ(x)=∑i=1Kfk(x),fk∈F\hat{y}=\phi(x)=\sum_{i=1}^K f_k(x),\quad f_k\in \mathcal{F}y^​=ϕ(x)=i=1∑K​fk​(x),fk​∈F 其中，F={f(x)=wq(x)}(q:Rm...
XGBoost算法原理小结
简书博客搬家测试账号
02-18 896
欢迎关注天善智能，我们是专注于商业智能BI，人工智能AI，大数据分析与挖掘领域的垂直社区，学习，问答、求职一站式搞定！ 对商业智能BI、大数据分析挖掘、机器学习，python，R等数据领域感兴趣的同学加微信：tstoutiao，邀请你进入数据爱好者交流群，数据爱好者们都在这儿。 作者：张磊从事AI医疗算法相关工作个人微信公众号：机器学习算法那些事（微信I...
XGBoost详解（原理篇）
热门推荐
tt丫的博客
03-15 7万+
XGBoost全称为eXtreme Gradient Boosting，即极致梯度提升树。XGBoost是Boosting算法的其中一种，Boosting算法的思想是将许多弱分类器集成在一起，形成一个强分类器（个体学习器间存在强依赖关系，必须串行生成的序列化方法）。Note：关于Boosting算法详见博文集成学习详解_tt丫的博客-优快云博客XGBoost是一种提升树模型，即它将许多树模型集成在一起，形成一个很强的分类器。其中所用到的树模型则是CART回归树模型。
机器学习-树模型（Boosting）相关问题：极限梯度提升树XGBoost
liuluTL的博客
03-29 2450
文章目录XGBoost一、梯度提升树1.1 基评估器的个数（超参数）1.2 自助抽样：有放回的随机抽样1.3 迭代决策树 XGBoost 一、梯度提升树 XGBoost的基础是梯度提升算法，因此我们必须先从了解梯度提升算法开始。梯度提升（Gradient boosting）是构建预测模型的最强大技术之一，它是集成算法中提升法（Boosting）的代表算法。集成算法通过在数据上构建多个弱评估器，汇总...
XGBoost 极限提升树 (Extreme Gradient Boosting）（一）
qq_49183286的博客
11-29 4617
XGBoost的基本程序实现和重要参数解析。
梯度提升（Gradient Boosting）算法
weixin_39910711的博客
04-27 1万+
目录 1 引言 2 梯度下降法 3梯度提升算法 4梯度提升原理推导 5对梯度提升算法的若干思考 5.1梯度提升与梯度下降的区别和联系是什么？ 5.2梯度提升和提升树算法的区别和联系？ 5.3梯度提升和GBDT的区别和联系？ 5.4 梯度提升算法包含哪些算法？ 5.5对于一般损失函数而言，为什么可以利用损失函数的负梯度在当前模型的值作为梯度提升算法中残差的近似值呢？ 1 引言 提升树利用加法模型与前向分歩算法实现学习的优化过程。当损失函数是平方误差损失...
梯度提升类（Gradient Boosting）方法的总结
Ri-yao的博客
07-12 1553
基于boosting集成的加法模型，训练时采用前向分布算法进行贪婪学习，每次迭代学习一棵树来拟合前棵树的预测结果与真值的残差。通过叶子节点的权重及实例映射到叶子节点的索引函数来定义树。令其中，固定一较大的学习率（如lr=0.1），进行n_estimators调优；固定学习率和n_estimators，对树的参数进行调优：步骤类型参数名称1树的深度、节点分裂的限制2叶子节点限制3行/列采样(正则化参数alpha、lambda调优)降低学习率，确定理想参数。
XGBoost（eXtreme Gradient Boosting）
最新发布
Rhett_Butler0922的博客
04-25 1043
XGBoost 是一种基于梯度提升（Gradient Boosting）的机器学习算法，由陈天奇（Tianqi Chen）于2014年提出。它结合了决策树（CART，分类与回归树）和梯度提升的思想，通过集成学习构建强大的预测模型。XGBoost 以其高效性、准确性和灵活性在数据科学竞赛（如Kaggle）和工业应用中广受欢迎。XGBoost 是一种高效、灵活且强大的机器学习算法，基于梯度提升和决策树，适用于结构化数据的多种任务。其核心优势在于二阶梯度优化、正则化、并行计算和对缺失值的鲁棒性。
XGBoost(eXtreme Gradient Boosting)
weixin_45746505的博客
03-25 3913
XGBoost
机器学习——eXtreme Gradient Boosting（XGBoost）模型实战
Alphoseven的博客
02-27 1389
XGBoost实战笔记，帮助你快速入门XGBoost
XGBoost（extreme gradient boosting）的使用例子
01-06
梯度提升模型（gradient boosting）：它是目前在结构化数据中表现最好的模型。和随机森林类似，都是集成学习的方法。随机森林是将多个决策树的预测值取平均。梯度提升梯度是一种通过循环迭代将模型添加到集合中集成的方法。它首先用单个模型初始化集合，其预测可能非常稚拙的。(即使它的预测非常不准确，随后对集合的添加也会解决这些错误。) 迭代过程： 首先，我们使用当前模型集合为数据集中的每个观测生成预测。为了进行预测，我们将集合中所有模型的预测相加。 用这些预测计算损失函数(例如，均方误差)。 然后我们用损失函数来拟合一个新模型，确定这个模型的参数，使这个模型集成到集合中能带来损失的下降。（梯度
xgboost-eXtreme Gradient Boosting.pdf
01-10
文档xgboost-eXtreme Gradient Boosting.pdf This is an introductory document of using the xgboost package in R.
【机器学习】浅谈XGBoost（极端梯度提升）
ueke1的博客
03-31 2518
XGBoost是GBDT算法的一种变种，是一种常用的有监督集成学习算法；是一种伸缩性强、便捷的可并行构建模型的Gradient Boosting算法。XGBoost官网：XGBoost Github源码位置XGBoost支持开发语言：Python、R、Java、Scala、C++、GPU等。
XGBoost:从决策树到极限梯度提升树
井底小蛙的博客
12-06 2269
本文以决策树为出发点,以集成学习的发展路径为脉络,介绍XGBoost算法的优化思路及相关知识;
Python中的极端梯度增强（XGBoost）集成
Together_CZ的博客
03-18 1714
【翻译自 ： Extreme Gradient Boosting (XGBoost) Ensemble in Python】 【说明：Jason BrownleePhD大神的文章个人很喜欢，所以闲暇时间里会做一点翻译和学习实践的工作，这里是相应工作的实践记录，希望能帮到有需要的人！】 Extreme Gradient Boosting（XGBoost）是一个开放源代码库，它提供了梯度提升算法的有效实现。 尽管该方法的其他开放源代码实...
【深度学习入门_机器学习理论】极致梯度提升原理（XGBoost）
qq_35312463的博客
03-29 1330
XGBoost（eXtreme Gradient Boosting）是一种高效、灵活且广泛应用的机器学习算法，属于的优化实现。它在分类、回归、排序等结构化/表格数据的预测任务中表现尤为出色。首先要明确一点，xgboost 是基于提升树的。什么是提升树，简单说，就是一个模型表现不好，我继续按照原来模型表现不好的那部分训练第二个模型，依次类推。
梯度提升决策树(GBDT)与极端梯度提升(xgboost)算法
Leon_winter的博客
05-06 7666
文章目录梯度提升决策树(GBDT)算法流程xgboost算法 梯度提升决策树(GBDT)   梯度提升决策树(GBDT)算法是梯度提升(GB)算法限定基学习器是回归决策树时的模型，尤其是CART回归树，关于梯度提升(GB)可以看我的blog中对应的部分。   这里根据GB算法，改写成使用CART回归树的GBDT算法。 算法流程 输入：训练集T={(x1,y1),(x2,y2)…(xN,yN)}T=...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值