简单例子说明XGBoost中树模型的构建过程

本文通过一个具体的回归问题实例,详细介绍了XGBoost构建回归树的具体步骤,包括求导数、构建与剪枝等过程,并展示了如何通过迭代逐步提高预测精度。


这里不再介绍XGBoost的原理及推导过程,推荐一些资料:

在构建树结构的过程会将涉及到的公式给出。
本文中的过程来源于视频XGBoost Part 1 (of 4): Regression – YouTube

如有错误,请指正,谢谢啦~

1. 数据集-回归问题

我们需要解决的是一个回归问题,数据如下表所示,NO是样本的编号,Drug Dosage 是特征,Drug Effective 是真实值。我们将根据这个数据集构建一个XGBoost模型。
在这里插入图片描述

2. 求一阶导数和二阶导数

这里采用的平方损失函数
在这里插入图片描述
注:后续需要用到 G a i n Gain Gain的计算公式,并定义 s i m i l a r i t y    s c o r e ( s s ) similarity \; score (ss) similarityscore(ss),同时将上面计算好的 g i g_i gi h i h_i hi带入 s s ss ss中,如下:
在这里插入图片描述

3. 构建树

  • 初始化

y i 0 = 0.5 y_i^0 = 0.5 yi

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值