机器学习boosting算法—梯度提升树(GBDT)

1 回归树算法分析

Adaboost算法是提升树的特殊情况，主要用于分类问题，对于回归问题怎么处理呢？？

已知一个训练数据集$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$,假设输入空间为$\chi$,如果将输入空间划分为J个互不相交的区域$R_1,R_2,...,R_J$并在每个区域上确定输出的常量$c_j$，那么回归树可以表示为：

$$T(x;\Theta)=\sum_{j=1}^{J}c_jI(x\in R_j)$$
其中，参数 $\Theta=\{(R_1,c_1),(R_2,c_2),...,(R_J,c_J)\}$表示树的区域划分和各区域上的常数，J是回归树的叶节点个数


所以回归算法模型可以表示成：
$$f_M(x)=\sum_{m=1}^{M}T(x;\Theta_m)$$


在前向分布算法的第m步，给定当前模型 $f_{m-1}(x)$，优化目标为：
$$\hat{\Theta}_m=\arg\min_{\Theta_m}\sum_{i=1}^{N}L(y_i,f_{m-1}(x_i)+T(x_i;\Theta_m))$$


损失函数-平方损失：

L(y,f(x))=(y−f(x))2=L(yi,