Zxdon的专栏

一、背景xgboost是陈天奇博士 开发的Boosting库。它是一个大规模、分布式的通用Gradient Boosting（GBDT）库，它在Gradient Boosting框架下实现了GBDT和一些广义的线性机器学习算法。xgboost的github地址。二、xgboost简要介绍XGBoos是在AdaBoost和GBDT等提升算法基础上进行了优化的算法，一般来说，算法都是由模型

一、正则化一般来说，监督学习可以看做最小化下面的目标函数：其中，第一项L(yi,f(xi;w)) 衡量我们的模型（分类或者回归）对第i个样本的预测值f(xi;w)和真实的标签yi之前的误差。因为我们的模型是要拟合我们的训练样本的嘛，所以我们要求这一项最小，也就是要求我们的模型尽量的拟合我们的训练数据。但正如上面说言，我们不仅要保证训练误差最小，我们更希望我们的模型测试误差小