算法强化 —— XGBoost

XGBoost

xgboost也是使用提升树相同的前向分步算法。其区别在于：xgboost通过结构风险极小化来确定下一个决策参数${\Theta }_m$

$${\hat{\Theta }}_m=\arg \underset{{\Theta }_m}{\min }\sum _{i=1}^{N}L\left({\tilde{y}}_i,f_m\left({\overrightarrow{\mathbf{x}}}_i\right)\right)+\Omega \left(h_m(\overrightarrow{\mathbf{x}})\right)$$

其中$\Omega (h_m)$为第m个决策树的正则化项。这是xgboost和GBT的一个重要区别。
$\mathcal{L}={\sum }_{i=1}^{N}L\left({\tilde{y}}_i,f_m\left({\overrightarrow{\mathbf{x}}}_i\right)\right)+\Omega \left(h_m(\overrightarrow{\mathbf{x}})\right)$为目标函数

泰勒展开式

定义：
$${\hat{y}}_i^{<m-1>}=f_{m-1}\left({\overrightarrow{\mathbf{x}}}_i\right),g_i=\frac{\partial L\left({\tilde{y}}_i,{\hat{y}}_i^{<m-1>}\right)}{\partial {\hat{y}}_i^{<m-1>}},h_i=\frac{{\partial }^{2}L(\tilde{y}}{{\partial }^2{\hat{y}}_i^{<m-1>}}$$