简单例子说明XGBoost中树模型的构建过程

这里不再介绍XGBoost的原理及推导过程，推荐一些资料：

• 【机器学习】决策树（下）——XGBoost、LightGBM（非常详细）
• https://xgboost.readthedocs.io/en/latest/tutorials/model.html
• https://www.bilibili.com/video/BV1Ca4y1t7DS?p=11

在构建树结构的过程会将涉及到的公式给出。
本文中的过程来源于视频XGBoost Part 1 (of 4): Regression – YouTube

如有错误，请指正，谢谢啦~

1. 数据集-回归问题

我们需要解决的是一个回归问题，数据如下表所示，NO是样本的编号，Drug Dosage 是特征，Drug Effective 是真实值。我们将根据这个数据集构建一个XGBoost模型。

2. 求一阶导数和二阶导数

这里采用的平方损失函数

注：后续需要用到$Gain$的计算公式，并定义$similarityscore(ss)$，同时将上面计算好的$g_i$和$h_i$带入$ss$中，如下：

3. 构建树

• 初始化

设 $y_i$