xgboost等集成学习原理推导

机器学习的一般模型

$$obj(\theta) = L(\theta)+\Omega(\theta)$$
目标函数等于损失函数加正则项。在boost中，为弱学习器的级联。约定训练集为X，个数为N，维度为M，$x_i$ 为第i个样本，$y_i$ 为第i个样本的标签，
$$\hat{y}^{(0)}_i=0\\ \hat{y}^{(1)}_i=\hat{y}^{(0)}_i+ f_1(x_i)\\ \hat{y}^{(2)}_i=\hat{y}^{(1)}_i+ f_2(x_i)\\ \hat{y}^{(3)}_i=\hat{y}^{(2)}_i+ f_3(x_i)\\ ......\\ \hat{y}^{(t)}_i=\hat{y}^{(t-1)}_i+ f_t(x_i)\\ $$
其中$\hat{y}^{(t)}_i$ 为第i个数据的第t级输出，$f_t(x_i)$ 为第i个样本被第t级学习器拟合的残差。

有：

$$obj^t_i(f_t,x_i)=L[y_i,\hat{y}_i^{(t)}]+\Omega(f_t)+constant\\ $$
将L在$\hat{y}_i^{(t-1)}$ 处taylor展开，得：
$$L[y_i,\hat{y}_i^{(t)}]=L[y_i,\hat{y}_i^{(t-1)}]+g_if_t(x_i)+\dfrac{1}{2}h_if_i^2(x_i)\\ g_i=\dfrac{\partial L[y_i,\hat{y}_i^{(t-1)}]}{\partial \hat{y}_i^{(t-1)}}\\ h_i = \dfrac{\partial^2 L[y_i,\hat{y}_i^{(t-1)}]}{\partial (\hat{y}_i^{(t-1)})^2}\\ $$
定义$f_t(x_i)=w_q(x_i)$ ，其中$w_q(x_i)$ 为$x_i$ 落入的叶子节点的值（score），编号为q，值就是$w_q$。对于落入相同叶子结点的，$w_q(x_i)$ 的值相等。

对于所有的样本，有：

$$obj^t(f_t)=\sum_{i=0}^{N-1}( L[y_i,\hat{y}_i^{(t)}])+\Omega(f_t)+constant\\ \Omega = \gamma T+\lambda \sum_{q=0}^{T-1}w^2_q\\ $$
则有：
$$L[y_i,\hat{y}_i^{(t)}]=L[y_i,\hat{y}_i^{(t-1)}]+g_if_t(x_i)+\dfrac{1}{2}h_if_i^2(x_i)\\ obj^t(f_t)=\sum_{i=0}^{N-1}\{ g_if_t(x_i)+\dfrac{1}{2}h_if^2(x_i)\}+\gamma T+\lambda\dfrac{1}{2}\sum_{q=0}^{T-1}w^2_q +constant\\ obj^t(f_t)=\sum_{q=0}^{T-1}\{\sum_{i\in I_q}g_iw_q+\dfrac{1}{2}\sum_{i\in I_q}h_iw_q^2+\dfrac{1}{2}\lambda w^2_q\}+\gamma T+constant\\ obj^t(f_t)=\sum_{q=0}^{T-1}\{G_qw_q+\dfrac{1}{2}(H_q+\lambda)w_q^2\}+\gamma T$$
当树生成了之后，最优的$w^*_q=-\dfrac{G_q}{H_q+\lambda}$ ,此时$obj(f_t)=-\dfrac{G_q^2}{2(H_q+\lambda)}+\gamma T$ 。对于不同的树有不同的损失，去最优，为了避免对所有的可能得树都进行生成后的比较，对分裂的叶子节点采用贪心算法:
$$Gain =\dfrac{G_L^2}{H_L+\lambda}+\dfrac{G_R^2}{H_R+\lambda}-\dfrac{(G_L+G_R)^2}{H_L+H_R+\lambda}-\gamma$$
遍历所有节点，选择增益最大值和属性作为分裂点。

即拟合残差时使用模型

$$\hat{y}^{(t)}_i=\hat{y}^{(t-1)}_i+ f_t(x_i)\\ $$
而加入使用的时候，在实际应用中，引入学习率，有模型：
$$\hat{y}^{(t)}_i=\hat{y}^{(t-1)}_i+ \eta f_t(x_i)\\ $$
每次都不完全拟合残差，以防止过拟合。

例如，用$L_i=\dfrac{1}{2}(y_i-\hat{y}_i)^2$ 作为损失函数，假设已经建立好了t-1颗树，则第t颗树

有：

$$g_i=\dfrac{\partial L[y_i,\hat{y}_i^{(t-1)}]}{\partial \hat{y}_i^{(t-1)}}=\hat{y_i}^{(t-1)}-y_i\\ h_i = \dfrac{\partial^2 L[y_i,\hat{y}_i^{(t-1)}]}{\partial (\hat{y}_i^{(t-1)})^2}=1\\ $$
但是前面的t-1颗树，都有$\hat{y}^{(t-1)}_i=\hat{y}^{(t-2)}_i+ \eta f_{t-1}(x_i)$ ,由此计算$\hat{y}_i^{(t-1)}$ 。

然后，通过最大增益生成树$f_t$ 。