XGBoost之二分类算法

blinkyou001

已于 2024-11-28 10:59:36 修改

阅读量2.6k

点赞数 26

分类专栏：机器学习文章标签：分类数据挖掘人工智能

于 2024-03-14 22:08:40 首次发布

本文链接：https://blog.youkuaiyun.com/blinkyou001/article/details/136684673

版权

1 XGBoost二分类算法简介

XGBoost(Extreme Gradient Boosting)算法是陈天奇博士于2016年发表的论文《 XGBoost：A Scalable Tree Boosting System》中正式提出的。XGBoost在GBDT算法的基础上作出了一系列的优化，如在损失函数的计算中增加了二阶导数，增加了正则项，一定程度上的并行计算等。

XGBoost算法支持回归算法与分类算法。其中的回归算法在《XGBoost回归算法原理与应用》中有着比较详细的讲解。本文讲解分类算法中的二分类算法。XGBoost二分类算法与回归算法的主要区别在于损失函数的构造。

为保证文章结构的完整性，本文沿袭了前一篇文章的相关内容。

2 关于目标函数

2.1 损失函数

以 $f_{t}(x)$ 表示第 $t$ 轮预测值， $w_{t}(x)$ 表示第 $t$ 棵树在样本 $x$ 处的取值（权重）， $L(y,f_{t}(x))$ 表示第 $t$ 轮的损失函数，损失函数 $L(y,f_{t}(x))$ 二阶可导。

将 $L(y,f_{t}(x))$ 二阶泰勒展开：

$L(y,f_{t}(x))=L(y,f_{t-1}(x)+w_{t}(x))=L(y,f_{t-1}(x))+\frac{\partial L(y,f(x))}{\partial f(x)}|_{f(x)=f_{t-1}(x)}w_{t}(x)+\frac{\partial^2 L(y,f(x))}{2\partial f^2(x)}|_{f(x)=f_{t-1}(x)}w_{t}^{2}(x)+constant$