几句话之Bagging，随机森林，Boosting，adaboost，GBDT，XGBoost

Bagging

随机森林

随机森林=决策树+Bagging

Boosting

adaboost

GBDT

XGBoost

xgboost选择使用CART树来做回归而不是其他决策树，由于CART树的叶结点对应的值是一个实际的分数，而不是一个明确的类别，这有利于高效的优化算法。

XGBoost原理还是GBDT思想。XGBoost的创新点如下：
1 损失函数加入了正则项
2 目标函数不好算，用二阶泰勒公式进行了展开
3 树的划分标准变了

求树ft，就是求T（叶子结点个数）和wj（每个叶子结点的值）
随着树变深，损失函数本身应该越来越小，[损失下降]越大。
树的划分标准变了，变成了[损失下降]。