集成学习：XGBoost（原理篇）

最新推荐文章于 2025-05-01 16:47:09 发布

矮人三等

最新推荐文章于 2025-05-01 16:47:09 发布

阅读量1.4k

点赞数

CC 4.0 BY-SA版权

分类专栏：集成学习文章标签：机器学习集成学习

本文链接：https://blog.youkuaiyun.com/Lian_Ge_Blog/article/details/123638652

3 篇文章

订阅专栏

本文解析XGBoost的原理，通过GBDT的拓展介绍目标函数改进，涉及泰勒展开、正则化和树结构优化。通过实例探讨树的复杂度计算与目标函数结合，以及XGBoost在效率和并行处理上的优势。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文参考众多技术文章，选取个人认为比较易于理解的例子以及数学公式原理来解读集成学习相关的一些算法原理，作为学习笔记。
集成学习文章将会根据算法提出时间的顺序进行依次总结，最主要的是算法原理会越来越复杂，所以个人能力有限可能有些地方考虑不全面或者理解错了，所以总结文章仅供参考。
每篇文章单独介绍时候会尽可能提出更多围绕本篇算法相关的问题，但是实际需要用到才会理解更深，所以不全面的地方还望提出问题，共同进步。
XGBoost原理需要在GBDT的基础上去理解才会容易一些，如果GBDT理解的比较深刻那么XGBoost就是在其基础上的一个较为完美的一个优化。
本文只能理解XGBoost是怎么一个流程，是如何实现的，知道是怎么一回事的程度，具体如何实现可以看参考资料有的带实现代码，等XGBoost代码篇会更深入的解释该算法（应该是很久以后了）。

XGBoost对于目标函数的推导部分优化：XGBoost的目标函数由损失函数和正则化项两部分组成。
其实上图中最后一行公式就是表示最终yi的估计就是K棵回归树组成的分类器预测的结果，那么用GBDT表达XGB就是
$\widehat{y_{i}} = \sum_{k=1}^Mf_{k}(x_{i}) = \widehat{y_{i}}^{(t-1)} + f_{t}(x_{i})\tag{GBDT梯度提升树表达式}$
注：GBDT的表达式一定要理解清楚，连等之间的含义
那么替换上图中整体的目标函数(由于目标函数实在找不到念啥怎么打出来，只能引用原作者的图了，我真是菜)
如图所示，我们接下来开始进行优化XGBoost的目标函数
补充：一阶泰勒展开与二阶泰勒展开式
根据上图中泰勒展开式我们进行二阶泰勒展开（公式代码不是很好写，再次引用原作者的图示）
接下来优化正则项
关于进一步合并一次项系数与二次项系数（个人难以理解，此处略，感兴趣自己找，原作者给的链接已经失效），但是可以从下方实例中帮助理解

首先XGBoost相对GBDT来说个人理解的没有那么深入，依旧有些云里雾里的感觉，但是大致就是在GBDT的基础上，目标函数加入了正则化防止过拟合（过拟合也是树模型的一个通病，分裂过深就容易过拟合），利用二阶泰勒展开简化XGBoost的目标函数让其可以收敛的更快，那性能上肯定是比GBDT效率更高的（二阶相对一阶展开），而且加入了并行的运算方式，使得XGBoost处理数据更快。
求出目标函数最优解，与树的分割有什么关系？
- 个人理解（因为没有百度到很正面的解释，也可能是个人理解的不够全面所以有这个有点沙雕的问题）：从上面实例中我们定义一棵树是定义好一颗树的所有结点以及节点的权重还有映射关系，以及树的结构复杂度包括节点的数量以及对节点权重的l2范式，但是树是依次一层一层分裂的，所以训练时候最终的每个叶子对应位置都会有各自的权重但是这个叶子是如何生成的呢？这就是后面提到找寻最佳分裂点的问题，相当于先定义好了最终结果的规格，再去让走向最终结果的路“最优”（如果理解的不对还希望大佬能解答这个问题）