机器学习 --- GBDT提升算法（Gradient Boosting）

Gradient Boosting

以梯度为优化目标，以提升将整个架构串在一起，用决策树当做模型细节中的每一个小部分

分类回归树（CART）

数据集：$\left\{\begin{array}{c}((x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),...,(x^{(m)},y^{(m)}))\end{array}\right\}$

衡量标准：

$s^2\cdot m=(y^{(1_{left})}-{\bar{y}}_{left}{)}^2+...+(y^{(n_{left})}-{\bar{y}}_{left}{)}^2+(y^{(1_{right})}-{\bar{y}}_{right}{)}^2+...+(y^{(m-n_{left})}-{\bar{y}}_{right}{)}^2$

Adaboost算法概述

原数据集：

第一次划分：

在第一次划分完成后，对于分类正确的数据降低权重，分类错误的值增加权重

第二次划分：

在第二次划分完成后，同样是对于分类正确的数据降低权重，分类错误的值增加权重

第三次划分：

在第三次划分完成后，同样是做权重调整工作

最终，对三次分类进行整合，不同的分类精度对应不同的 $\alpha$ 权重，将其加和得到最后结果

GB算法

优化的目标：
$$\underset{f(x)}{\mathrm{argmin}}{E}_{x,y}[L(y,f(x))]$$

$L(y,f(x))$是一个损失函数，$f(x)$ 是一个模型，我们需要找到一个模型 $f(x)$ 使得损失函数最小

其实目标还是去找最合适的参数：
$$\hat{\theta }=\underset{\theta }{\mathrm{argmin}}{E}_{x,y}[L(y,f(x,\theta ))]$$

结果依旧是需要迭代得出：
$$\hat{\theta }=\sum _{i=1}^M{\hat{\theta }}_i$$

梯度的思想

找到最合适的参数：
$$({\rho }_t,{\theta }_t)=\underset{\rho ,\theta }{\mathrm{argmin}}{E}_{x,y}[L(y,\hat{f}(x)+\rho \cdot h(x,\theta ))]$$

残差的计算（负梯度）：
$$r_{it}=-[\frac{\partial L(y,f(x_i))}{\partial f(x_i)}]$$