【机器学习】纯公式推导XGBoost的目标函数

对于一个任务，判断某个家庭成员会对某新出的游戏感兴趣的概率大不大。

考虑XGBoost的Bagging过程：

${\hat{y}}_i^{(0)}=0$

${\hat{y}}_i^{(1)}=f_1(x_i)={\hat{y}}_i^{(0)}+f_1(x_i)$

${\hat{y}}_i^{(2)}=f_1(x_i)+f_2(x_i)={\hat{y}}_i^{(1)}+f_2(x_i)$

…

${\hat{y}}_i^{(t)}={\sum }_{k=1}^t{f}_k(x_i)={\hat{y}}_i^{(t-1)}+f_t(x_i)$

对于这颗回归树，可以用数学公式如下描述：${\hat{y}}_i={\sum }_j{w}_j{x}_{ij}$

目标函数：$l(y_i,{\hat{y}}_i)=(y_i-{\hat{y}}_i{)}^2$
正则化项：$\Omega (f_t)=\gamma T+\frac{1}{2}\lambda {\sum }_{j=1}^T{w}_j^2$（叶子结点的个数和权重值不能太大）

现在还剩下一个问题，我们如何选择每一轮加入什么呢？答案是非常直接的，选取一个目标函数来使得我们的目标函数尽量最大地降低，很容易想到下式：

$$Ob{j}^{(t)}=\sum _{i=1}^{n}l(y^{}$$