本文深入探讨XGBoost的数学原理，包括目标函数、决策树优化和稀疏感知算法。工程实现部分涉及块结构设计、缓存优化及分布式计算。文章还讨论了XGBoost的优缺点及调参策略。
本文从互联网搬运，只用于本人学习记录。
决策树之XGBoost
XGBoost使大规模并行boosting tree的工具。
1. 数学原理
1.1. 目标函数
XGBoost使由 k k k个基模型组成的一个加法运算式：
y i ^ = ∑ t = 1 k f t ( x i ) \hat{y_i} = \sum^k_{t = 1}f_t(x_i) yi^=t=1∑kft(xi)
其中 f k f_k fk为第 k k k个基模型， y i ^ \hat{y_i} yi^为第 i i i个样本的预测值。
损失函数由预测值 y i ^ \hat{y_i} yi^与真实值 y i y_i yi进行表示：
L = ∑ i = 1 n l ( y i , y i ^ ) L = \sum^n_{i = 1}l(y_i, \hat{y_i}) L=i=1∑nl(yi,yi^)
其中 n n <
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
