史上最详细的XGBoost实战（下）

作者：章华燕

编辑：田　旭

四

XGBoost 参数详解

在运行XGboost之前，必须设置三种类型成熟：general parameters，booster parameters和task parameters：

• General parameters 
  该参数参数控制在提升(boosting)过程中使用哪种booster，常用的booster有树模型(tree)和线性模型(linear model)

• Booster parameters 
  这取决于使用哪种booster

• Task parameters 
  控制学习的场景，例如在回归问题中会使用不同的参数控制排序

01

General Parameters

1. booster [default=gbtree]

   有两中模型可以选择gbtree和gblinear。gbtree使用基于树的模型进行提升计算，gblinear使用线性模型进行提升计算。缺省值为gbtree。

   
   

2. silent [default=0]

   取0时表示打印出运行时信息，取1时表示以缄默方式运行，不打印运行时信息。缺省值为0。

   
   

3. nthread

   XGBoost运行时的线程数。缺省值是当前系统可以获得的最大线程数。

   
   

4. num_pbuffer

   预测缓冲区大小，通常设置为训练实例的数目。缓冲用于保存最后一步提升的预测结果，无需人为设置。

   
   

5. num_feature

   Boosting过程中用到的特征维数，设置为特征个数。XGBoost会自动设置，无需人为设置。

02

Parameters for Tree Booster

1. eta [default=0.3] 

   为了防止过拟合，更新过程中用到的收缩步长。在每次提升计算之后，算法会直接获得新特征的权重。 eta通过缩减特征的权重使提升计算过程更加保守。缺省值为0.3 。
   取值范围为：[0,1]

   
   

2. gamma [default=0] 

   minimum loss reduction required to make a further partition on a leaf node of the tree. the larger, the more conservative the algorithm will be. 
   取值范围为：[0,∞]

   
   

3. max_depth [default=6] 

   数的最大深度。缺省值为6。
   取值范围为：[1,∞]

    

4. min_child_weight [default=1] 

   孩子节点中最小的样本权重和。如果一个叶子节点的样本权重和小于min_child_weight则拆分过程结束。在现行回归模型中，这个参数是指建立每个模型所需要的最小样本数。该成熟越大算法越conservative。
   取值范围为：[0,∞]

   
   

5. max_delta_step [default=0] 

   我们允许每个树的权重被估计的值。如果它的值被设置为0，意味着没有约束；如果它被设置为一个正值，它能够使得更新的步骤更加保守。通常这个参数是没有必要的，但是如果在逻辑回归中类极其不平衡这时候他有可能会起到帮助作用。把它范围设置为1-10之间也许能控制更新。 
   取值范围为：[0,∞]

   
   

6. subsample [default=1] 

   用于训练模型的子样本占整个样本集合的比例。如果设置为0.5则意味着XGBoost将随机的从整个样本集合中随机的抽取出50%的子样本建立树模型，这能够防止过拟合。 
   取值范围为：(0,1]

   
   

7. colsample_bytree [default=1] 
   

   在建立树时对特征采样的比例。缺省值为1。
   取值范围为：(0,1]

03

Parameter for Linear Booster

1. lambda [default=0]