梯度提升（Gradient Boosting）算法

• 我的个人微信公众号：Microstrong
  微信公众号ID： MicrostrongAI
  微信公众号介绍： Microstrong(小强)同学主要研究机器学习、深度学习、计算机视觉、智能对话系统相关内容，分享在学习过程中的读书笔记！期待您的关注，欢迎一起学习交流进步！
• 我的知乎主页： https://www.zhihu.com/people/MicrostrongAI/activities
• Github： https://github.com/Microstrong0305
• 个人博客： https://blog.youkuaiyun.com/program_developer
• 本文首发在我的微信公众号里，地址：https://mp.weixin.qq.com/s/Ods1PHhYyjkRA8bS16OfCg，如有公式和图片不清楚，可以在我的微信公众号里阅读。

1. 引言

提升树利用加法模型与前向分歩算法实现学习的优化过程。当损失函数是平方误差损失函数和指数损失函数时，每一步优化是很简单的。但对一般损失函数而言，往往每一步优化并不那么容易。针对这一问题，Freidman提出了梯度提升（gradient boosting）算法。Gradient Boosting是Boosting中的一大类算法，它的思想借鉴于梯度下降法，其基本原理是根据当前模型损失函数的负梯度信息来训练新加入的弱分类器，然后将训练好的弱分类器以累加的形式结合到现有模型中。采用决策树作为弱分类器的Gradient Boosting算法被称为GBDT，有时又被称为MART（Multiple Additive Regression Tree）。GBDT中使用的决策树通常为CART。

2. 梯度下降法

在机器学习任务中，需要最小化损失函数$L(\theta )$，其中 $\theta$ 是要求解的模型参数。梯度下降法通常用来求解这种无约束最优化问题，它是一种迭代方法：选取初值 ${\theta }_0$ ，不断迭代，更新 $\theta$ 的值，进行损失函数的极小化。这里我们还需要初始化算法终止距离 $\epsilon$ 以及步长 $\alpha$ 。
使用梯度下降法求解的基本步骤为：
（1）确定当前位置的损失函数的梯度，对于 ${\theta }_t$ ，其梯度表达式如下： $\frac{\delta L(\theta )}{\delta {\theta }_t}$
（2）用步长 $\alpha$ 乘以损失函数的梯度，得到当前位置下降的距离，即： $\alpha \ast \frac{\delta L(\theta )}{\delta {\theta }_t}$
（3）确定是否 ${\theta }_t$ 梯度下降的距离小于 $\epsilon$ ，如果小于 $\epsilon$ 则算法终止，当前的${\theta }_t$即为最终结果。否则进入步骤（4）。
（4）更新 ${\theta }_t$ ，其更新表达式如下。更新完毕后继续转入步骤（1）。
$${\theta }_t={\theta }_t-\alpha \ast \frac{L(\theta )}{\delta {\theta }_t}$$
我们也可以用泰勒公式表示损失函数，用更数学的方式解释梯度下降法：

• 迭代公式： ${\theta }_t={\theta }_{t-1}+\Delta \theta$
• 将 $L({\theta }_t)$ 在 ${\theta }_{t-1}$ 处进行一阶泰勒展开：
  $$\begin{array}{rl}L({\theta }_t)& =L({\theta }_{t-1}+\Delta \theta )\\ & \approx L({\theta }_{t-1})+L^{{}^{\prime }}({\theta }_{t-1})\Delta \theta \end{array}$$
• 要使得 $L({\theta }_t)<L(\theta$