极度梯度提升树（eXtreme Gradient Boosting）算法推导

原创

已于 2023-11-17 15:47:34 修改 · 1.1k 阅读

·

0

·

CC 4.0 BY-SA版权

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

文章标签：

#算法 #boosting #人工智能

于 2023-11-17 15:36:20 首次发布

本文详细解析了XGBoost算法的数学推导，包括损失函数的构建、正则化项的处理、决策树的构建以及如何通过二阶泰勒展开优化损失函数，突出其过拟合倾向。

一、极度梯度提升树（XGBoost）的算法原理

极度梯度提升树整体上仍属于GBDT算法，因此算法也一定是由多个基模型组成的一个加性模型，所以模型可以表示为：

$y\hat{} = \sum_{k=1}^{K} f_{k}^{}(x_{i})$ -------（1）

根据前向分布算法，假设第t次迭代的基模型为 $f_t{(x)}$ ,有：

$y\hat{}_{i}^{(t)} = \sum_{k=1}^{t} y\hat{}_{i}^{(t-1)} + f_{t}(x_{i})$ -------（2）

损失函数基本形式由经验损失项和正则化项构成：

$L = \sum_{i=1}^{n}l(y_{i},y\hat{}_{i}) + \sum_{i=1}^{t} \Omega (f_{i})$ -------（3）

其中上式第一项为经验损失项，表示训练数据预测值与真实值之间的损失；第二项为正则化项，表示全部t棵树的复杂度之和，这也是算法控制模型过拟合的方法。

根据前向分布算法，以第t步为例，假设模型对第i 个样本xi 的预测值为：

$y\hat{}_{i}^{(t)} = y\hat{}_{i}^{(t-1)} + f_t{(x_{i})}$ --------（4）

其中 $y\hat{}_{i}^{(t-1)}$ 是由第一步的模型给出的预测值，其作为一个已知常量存在， $f_t{(x_{i})}$ 作为第t步树模型的预测值。因而式（3）式的目标函数可以表示为：

最低0.47元/天解锁文章

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。