机器学习之决策树终极分类器：XGBoost

导读：
XGBoost被认为是各类赛事排名第一的算法
Ensenble是集成算法，分为两类：bagging和boosting
bagging：每个人都是专家（List of experts），容易过拟合；把多个拼接到一起，降低方差，即模型的稳定性
boosting：每个人都是普通人（List of weak learners），容易欠拟合

XGBoost

1.优势：

1. 速度和表现可以超过大部分机器学习模型；
2. 可以并行化计算
3. 有大量可调节参数，例如$\gamma$，$\lambda$

2.学习路径：

1. 如何构造目标函数(Objective function)
2. 如何近似目标函数(Objective function,优化，求最小/最大值)
3. 如何引入树到目标函数，改造目标函数
4. 如何使用贪心算法构造树

其中 从1到2使用了泰勒展开式

1.构造目标函数

假设有$K$棵树：
$$\widehat{y_i}=\sum _{k=1}^K{f}_k(x_i),f_k\in \mathcal{F}\text{\hspace{1em}(1)}$$
目标函数：
$$Obj=\sum _{i=1}^{n}l(y_i,\widehat{y_i})+\sum _{k=1}^K\Omega (f_k)\text{\hspace{1em}(2)}$$

Additive Training

1. 第零个树的预测值：${\widehat{y_i}}^{(0)}=0$ ---------base case
2. 第一个树的预测值：${\widehat{y_i}}^{(1)}=f_1(x_i)={\widehat{y_i}}^{(0)}+f_1(x_i)$
3. 第二个树的预测值：${\widehat{y_i}}^{(2)}=f_1(x_i)+f_2(x_i)={\widehat{y_i}}^{(1)}+f_2(x_i)$
4. 第三个树的预测值：${\widehat{y_i}}^{(3)}=f_1(x_i)+f_2(x_i)+f_3(x_i)={\widehat{y_i}}^{(2)}+f_3(x_i)$
   ……
5. 第t个树的预测值：${\widehat{y_i}}^{(t)}={\sum }_{k=1}^t{f}_k(x_i)={\widehat{y_i}}^{(t-1)}+f_t(x_i)$

训练第i棵树时，例如第2棵树$f_2(x_i)$，要拟合残差，即真实值和已有的预测之差：$y_i-{\widehat{y_1}}^{(1)}$。

下面就是构造目标函数：
第$t$轮的预测值为：${\widehat{y_t}}^{(t)}={\widehat{y_t}}^{(t-1)}+f_t(x$