机器学习之十：Xgboost

1、算法简介
    Xgboost 的全称是eXtreme Gradient Boosting，它是Gradient Boosting Machine的一个c++实现，作者为正在华盛顿大学研究机器学习的大牛陈天奇 。xgboost最大的特点在于，它能够自动利用CPU的多线程进行并行，同时在算法上加以改进提高了精度。首先回顾一下上一篇中的提升树模型目标函数：

$$Obj(\Theta)=\sum_{i=1}^nL(y_i,\hat y_i)+\sum_{k=1}^K\Omega (f_k)$$
其中 $n$为样本个数， $i$表示第 $i$个样本， $L(y_i,\hat y_i)$表示第 $i$个样本的预测误差， $K$表示有 $K$棵树。
    （1）第一部分是训练误差，也就是大家相对比较熟悉的如平方误差，而第二部分是每棵树的复杂度的和。因为现在我们的参数可以认为是在一个函数空间里面，我们不能采用传统的如SGD之类的算法来学习我们的模型，因此我们会采用一种叫做Boosting的 方式，每一次保留原来的模型不变，加入一个新的函数 $f$到我们的模型中。
$$\hat y_i^{(0)}=0 \\ \hat y_i^{(1)}=f_1(x_i)=\hat y_i^{(0)}+f_1(x_i) \\ \hat y_i^{(2)}=f_1(x_i)+f_2(x_i)=\hat y_i^{(1)}+f_2(x_i) \\ ... ... \\ \hat y_i^{(t)}=\sum_{k=1}^tf_k(x_i)=\hat y_i^{(t-1)}+f_t(x_i)$$
    其中 $x_i$表示第 $i$个样本点， $\hat y_i^{(t)}$表示第 $t$轮的预测模型， $f_t(x_i)$表示第 $t$轮加入的函数，我们如何选择每一轮加入什么 $f$呢？答案是非常直接的，选取一个f来使得我们的目标函数尽量最大地降低，因此改写我们的目标函数：

Obj(t)=∑i=1nL(