XGBoost使用相关收集--参数设定

参考文献：

1.XGBOOST参数说明

---

1.使用的基本结构：

import xgboost as xgb
# 读取数据
dtrain = xgb.DMatrix('demo/data/agaricus.txt.train')
dtest = xgb.DMatrix('demo/data/agaricus.txt.test')
# 通过 map 指定参数
param = {'max_depth':2, 'eta':1, 'silent':1, 'objective':'binary:logistic' }
num_round = 2
bst = xgb.train(param, dtrain, num_round)
# 预测
preds = bst.predict(dtest)

---

2.关于调参

--------------------------------------------------&&宏观指导思路&&------------------------------------------------------
【1】理解 Bias-Variance（偏差-方差）权衡
如果你了解一些机器学习或者统计课程，你会发现这可能是最重要的概念之一。 当我们允许模型变得更复杂（例如深度更深）时，模型具有更好的拟合训练数据的能力，会产生一个较少的偏差模型。 但是，这样复杂的模型需要更多的数据来拟合。
xgboost 中的大部分参数都是关于偏差方差的权衡的。最好的模型应该仔细地将模型复杂性与其预测能力进行权衡。 参数文档 会告诉你每个参数是否会使得模型更加 conservative （保守）与否。这可以帮助您在复杂模型和简单模型之间灵活转换。

【2】控制过拟合
当你观察到训练精度高，但是测试精度低时，你可能遇到了过拟合的问题。通常有两种方法可以控制 xgboost 中的过拟合。
第一个方法是直接控制模型的复杂度
这包括 max_depth, min_child_weight 和 gamma
第二种方法是增加随机性，使训练对噪声强健
这包括 subsample, colsample_bytree
你也可以减小步长 eta, 但是当你这么做的时候需要记得增加 num_round 。

【3】处理不平衡的数据集
对于广告点击日志等常见情况，数据集是极不平衡的。 这可能会影响 xgboost 模型的训练，有两种方法可以改善它。
如果你只关心预测的排名顺序（AUC）
通过 scale_pos_weight 来平衡 positive 和 ne