本文探讨了XGB(Extreme Gradient Boosting)的目标函数求解过程，重点在于如何将复杂的目标函数转化为与树结构直接相关的简单表达式。通过引入梯度统计量的概念，文章解释了一阶导数与二阶导数在XGB中的应用，并对比了XGB与GBDT(Gradient Boosting Decision Tree)在求导方面的不同之处。
文章目录
求解XGB的目标函数
在求解XGB的目标函数的过程中，我们考虑的是如何能够将目标函数转化成更简单的，与树的结构直接相关的写法， 以此来建立树的结构与模型的效果（包括泛化能力与运行速度）之间的直接联系。也因为这种联系的存在，XGB的目 标函数又被称为“结构分数”。
其中 和 分别是在损失函 上 所求的一阶导数和二阶导数，他们被统称为每个样本的梯度统计 量（gradient statisticts）。在许多算法的解法推导中，我们求解导数都是为了让一阶导数等于0来求解极值，而现在我们求解导数只是为了配合泰勒展开中的形式，仅仅是简化公式的目的罢了。所以GBDT和XGB的区别之中，GBDT求一阶导数，XGB求二阶导数，这两个过程根本是不可类比的。XGB在求解极值为目标的求导中也是求解一阶导数。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
