分类算法——XGBoost 详解

goTsHgo

已于 2024-11-21 16:46:20 修改

阅读量5.3k

点赞数 11

分类专栏：用户画像机器学习人工智能文章标签：分类算法机器学习

于 2024-10-31 12:10:03 首次发布

本文链接：https://blog.youkuaiyun.com/goTsHgo/article/details/143390305

版权

机器学习同时被 3 个专栏收录

40 篇文章

订阅专栏

人工智能

28 篇文章

订阅专栏

用户画像

22 篇文章

订阅专栏

XGBoost 的底层原理与实现

XGBoost（eXtreme Gradient Boosting）是一种高效的梯度提升算法（Gradient Boosting），它通过组合多个弱学习器（通常是决策树）来构建强大的模型。XGBoost的基模型不仅支持决策树，还支持线性模型。XGBoost 在算法层面上优化了传统的梯度提升树（GBT），在速度和准确性上都有显著的提升。

经过优化的分布式梯度提升库，旨在高效、灵活且可移植。XGBoost是大规模并行boosting tree的工具，它是目前最快最好的开源 boosting tree工具包之一，比常见的工具包快10倍以上。

以下是对 XGBoost 的底层原理和实现细节的详细解析：

1. XGBoost 的基本概念

梯度提升：一种通过构建多个弱学习器（如决策树）逐步提升模型性能的算法。每一步的目标是根据前一步的误差来构建新的模型，使模型误差逐渐减少。
弱学习器：通常是决策树，XGBoost 使用 CART（Classification And Regression Tree）作为基本单元，每棵树试图拟合之前模型的误差（残差）。
目标函数：在 XGBoost 中定义为损失函数与正则化项的和，正则化项通过控制树的复杂度来防止过拟合。

2. XGBoost 的目标函数

XGBoost 的目标函数可以分为两部分：损失函数和正则化项。具体表示为：

$L\left ( y_{i},\hat{y_{i}} \right )$ 表示损失函数，用于衡量模型预测值 $\hat{y_{i}}$ 和真实值 $y_{i}$ 的差距。
$\Omega (f_{k})$ 表示正则化项，用于控制每棵树的复杂度。XGBoost 使用 $L_{2}$ 正则化来限制树的叶节点数和节点权重，从而防止过拟合。

对于第 t 轮迭代，假设我们有 t−1 颗树，第 t 颗树的增量预测值为 $f_{t}(x)$ ，于是可以写出第 t 轮的预测值：

$\hat{y}_{i}^{(t-1)} +f_{t}(xi)$

目标函数的二次近似展开

为了便于求解，将目标函数通过泰勒展开式近似为二次形式：

其中：

$g_{i}=\partial _{\hat{y}_{i}^{(t-1)}}L(y_{i},\hat{y}_{i}^{(t-1)})$ 是一阶导数，代表当前预测值的梯度。
$hi= \partial _{\hat{y}^{(t-1)}}^{2} *L(y_{i},\hat{y}_{i}^{(t-1)})$ 是二阶导数，代表当前预测值的曲率（即 Hessian）。

XGBoost 利用一阶和二阶信息来构建树，提高了模型对损失的精确逼近。

3. 树的构建与叶节点分裂

在每轮迭代中，XGBoost 通过最小化目标函数来构建新的决策树。

包括两个部分：

叶子结点的权重向量 w ;
实例(样本)到叶子结点的映射关系 q (本质是树的分支结构)；

主要包括以下步骤：

叶节点的增益计算：
- 在每个分裂点，计算该分裂点的增益。增益表示分裂后误差的减少量。对于一个分裂点，增益可以表示为：
  
  其中：
  - $G_{L}$ 、 $G_{R}$ 为左子节点和右子节点的梯度和， $H_{L}$ 、 $H_{R}$ 为左子节点和右子节点的 Hessian 和。
  - λ 为正则化参数，用于控制叶节点权重的大小。
  - $\gamma$ 为惩罚项，限制树的叶节点数，防止树过于复杂。
选择最佳分裂点：
计算每个特征的所有可能分裂点的增益，选择增益最大的分裂点作为当前节点的最优分裂。
叶节点权重的确定：
- 对于每个叶节点，XGBoost 会基于损失函数的二阶信息来优化其权重 $w_{j}$ ，权重的最优值可表示为：
  $w_{j}^{*}= - \frac{\sum_{ i\in I_{j}^{} } g_{i}}{\sum_{ i\in I_{j}^{} } h_{i}+\lambda }$
其中 $I_{j}$ 为叶节点 $j$ 包含的样本集合。

4. XGBoost 的正则化

正则化项是 XGBoost 的核心改进之一，通过控制树的结构复杂度来减少过拟合。正则化项包括两个部分：

叶节点权重的 $L_{2}$ 正则化：通过对每个叶节点的权重施加 $L_{2}$ 正则化，使得权重不会过大，防止模型对特定样本过度拟合。
叶节点数的惩罚项：通过对树的叶节点数量进行惩罚，防止生成过深的树。

5. XGBoost 的特性优化

列抽样（Column Subsampling）：每棵树训练时随机选择部分特征，增加模型的多样性，减少过拟合。
并行化计算：对每个特征的分裂增益进行并行计算，加速树的构建。
Shrinkage（缩减）：类似于学习率，在每棵树的预测上乘以一个缩减系数，防止步长过大导致的模型震荡。
缺失值处理：XGBoost 能够自动处理缺失值，通过最优分裂自动调整数据分布。

XGBoost 的源代码实现

以下是使用 Python 和 xgboost 库实现 XGBoost 分类算法的源代码示例。

# 导入相关库
import xgboost as xgb
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# 加载数据
data = load_iris()
X, y = data.data, data.target

# 将数据分成训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 创建 DMatrix 数据结构，这是 XGBoost 特有的数据格式，优化存储和计算速度
dtrain = xgb.DMatrix(X_train, label=y_train)
dtest = xgb.DMatrix(X_test, label=y_test)

# 设置参数
params = {
    'objective': 'multi:softmax',  # 多分类问题
    'num_class': 3,                # 类别数
    'max_depth': 3,                # 树的深度
    'eta': 0.1,                    # 学习率
    'subsample': 0.8,              # 采样率
    'colsample_bytree': 0.8        # 列采样
}

# 训练模型
num_round = 50  # 训练轮数
bst = xgb.train(params, dtrain, num_round)

# 预测
y_pred = bst.predict(dtest)
accuracy = accuracy_score(y_test, y_pred)
print("Accuracy:", accuracy)

源码解读

DMatrix 数据结构：XGBoost 使用 DMatrix 数据结构来存储数据，这种结构在内存使用和计算速度上进行了优化。通过 xgb.DMatrix() 转换原始数据，可以有效地管理数据和标签。
模型参数：
- objective: 定义任务类型，multi:softmax 表示多分类任务。
- max_depth: 树的最大深度，控制模型复杂度。
- eta（学习率）：防止每棵树对目标的影响过大，有助于提高模型的泛化能力。
- subsample 和 colsample_bytree: 控制每棵树构建过程中所使用的样本比例和特征比例，防止过拟合。
训练过程：使用 xgb.train() 函数进行模型训练，设置了迭代次数 num_round，表示模型构建的弱学习器数量（即树的数量）。
预测与评估：调用 bst.predict() 进行预测，并使用准确率指标评估模型效果。