XGBoost的注意点

1. 注意：XGBoost的切分操作和普通的决策树切分过程是不一样的。普通的决策树在切分的时候并不考虑树的复杂度，而依赖后续的剪枝操作来控制。xgboost在切分的时候就已经考虑了树的复杂度，就是那个γ参数。所以，它不需要进行单独的剪枝操作。

2. XGBoost的应用选择：
   “reg:linear” –线性回归。
   “reg:logistic” –逻辑回归。
   “binary:logistic” –二分类的逻辑回归问题，输出为概率。
   “binary:logitraw” –二分类的逻辑回归问题，输出的结果为wTx。
   “count:poisson” –计数问题的poisson回归，输出结果为poisson分布。 在poisson回归中，max_delta_step的缺省值为0.7。(used to safeguard optimization)
   “multi:softmax” –让XGBoost采用softmax目标函数处理多分类问题，同时需要设置参数num_class（类别个数）
   “multi:softprob” –和softmax一样，但是输出的是ndata * nclass的向量，可以将该向量reshape成ndata行nclass列的矩阵。没行数据表示样本所属于每个类别的概率。
   “rank:pairwise” –set XGBoost to do ranking task by minimizing the pairwise loss

3. Adaboost与GBDT两者boosting的不同策略是两者的本质区别。
   Adaboost强调Adaptive（自适应），通过不断修改样本权重（增大分错样本权重，降低分对样本权重），不断加入弱分类器进行boosting。
   而GBDT则是旨在不断减少残差（回归），通过不断加入新的树旨在在残差减少（负梯度）的方向上建立一个新的模型。——即损失函数是旨在最快速度降低残差。
   而XGBoost的boosting策略则与GBDT类似，区别在于GBDT旨在通过不断加入新的树最快速度降低残差，而XGBoost则可以人为定义损失函数（可以是最小平方差、logistic loss function、hinge loss function或者人为定义的loss function），只需要知道该loss function对参数的一阶、二阶导数便可以进行boosting，其进一步增大了模型的泛华能力，其贪婪法寻找添加树的结构以及loss function中的损失函数与正则项等一系列策略也使得XGBoost预测更准确。
   XGBoost是通过最小化损失函数求取最优的树结构。 GBDT每一次的计算是都为了减少上一次的残差，进而在残差减少（负梯度）的方向上建立一个新的模型。
   XGBoost则可以自定义一套损失函数，借助泰勒展开（只需知道损失函数的一阶、二阶导数即可求出损失函数）转换为一元二次函数，得到极值点与对应极值即为所求。

4.XGBoost的调参细节：
estimator： model = xgb.XGBRegressor
https://blog.youkuaiyun.com/han_xiaoyang/article/details/52665396
estimator： model = xgb.XGBClassifier
https://segmentfault.com/a/1190000014040317
网格调参示例：https://blog.youkuaiyun.com/zllnau66/article/details/81980876

GBM调参：https://blog.youkuaiyun.com/han_xiaoyang/article/details/52663170

资源参考：

Adaboost、GBDT与XGBoost的区别
xgboost的原理没你想像的那么难