GBDT的理解

最新推荐文章于 2024-01-18 21:02:36 发布

Holmes96

最新推荐文章于 2024-01-18 21:02:36 发布

阅读量963

点赞数

CC 4.0 BY-SA版权

分类专栏：机器学习

本文链接：https://blog.youkuaiyun.com/huyun9666/article/details/90217253

GBDT是Gradient Boosting Decision Tree的缩写，由Freidman提出，是集成学习的一种。与Adaboost不同，GBDT限制弱学习器为CART回归树，并通过梯度下降优化目标函数。文章回顾了AdaBoost的基本思想，然后介绍了如何将梯度下降应用于AdaBoost，形成Gradient Boost，并进一步扩展到回归问题。最后，说明了GBDT如何结合决策树实现性能提升。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

简介

GBDT 的全称是 Gradient Boosting Decision Tree，梯度提升决策树，由Freidman提出。GBDT也是集成学习Boosting家族的成员，但是却和传统的Adaboost有很大的不同。Adaboost是利用前一轮迭代弱学习器的误差率来更新训练集的权重。GBDT也是迭代，使用了前向分布算法，但是弱学习器限定了只能使用CART回归树模型，同时迭代思路和Adaboost也有所不同。

AdaBoost回顾

${u_n}^{\left( {t + 1} \right)} = \left\{ \begin{array}{l} {u_n}^{\left( t \right)} \cdot {\Theta _t},\;if\;incorrect \Rightarrow {y_n}{g_t}\left( { {x_n}} \right) = - 1\\ {u_n}^{\left( t \right)}/{\Theta _t},\;if\;correct \Rightarrow {y_n}{g_t}\left( { {x_n}} \right) = 1 \end{array} \right.$

这里的 $u$ 代表同一份数据取几次，而 $Θt=1−εtεt{\Theta _t} = \sqrt {\frac{ {1 - {\varepsilon _t}}}{ { {\varepsilon _t}}}}$ ，其中 $εt\varepsilon _t$ 代表错误率。

我们可以进一步化简，可得 $un(t+1)=un(t)⋅Θt−yngt(xn){u_n}^{\left( {t + 1} \right)} = {u_n}^{\left( t \right)} \cdot \Theta _t^{ - {y_n}{g_t}\left( { {x_n}} \right)}$

因为 $αt=ln⁡Θt=ln⁡1−εtεt{\alpha _t} = \ln {\Theta _t} = \ln \sqrt {\frac{ {1 - {\varepsilon _t}}}{ { {\varepsilon _t}}}}$

所以 $un(T+1)=un(1)⋅∏t=1Te−ynαtgt(xn)=1N⋅e−yn∑t=1Tαtgt(xn){u_n}^{\left( {T + 1} \right)} = {u_n}^{\left( 1 \right)} \cdot \prod\limits_{t = 1}^T { {e^{ - {y_n}{\alpha _t}{g_t}\left( { {x_n}} \right)}}} = \frac{1}{N} \cdot {e^{ - {y_n}\sum\limits_{t = 1}^T { {\alpha _t}{g_t}\left( { {x_n}} \right)} }}$