GBDT和Xgboost模型对比总结

一．GBDT有哪些参数,如何确定树的深度，学习率怎样确定。
答：本题答案引自http://www.07net01.com/2016/12/1742073.html
在sk-learn中，GradientBoostingClassifier为GBDT的分类类，GradientBoostingRegressor为GBDT的回归类，两者的参数类型相同，我们把参数分为两类，第一类是Boosting框架的重要参数，第二类是弱学习器（Cart树）的重要参数。
Boosting框架的参数：
1. n_estimators: 也就是弱学习器的最大迭代次数，或者说最大的弱学习器的个数。一般来说n_estimators太小，容易欠拟合，n_estimators太大，又容易过拟合，一般选择一个适中的数值。默认是100。在实际调参的过程中，我们常常将n_estimators和下面介绍的参数learning_rate一起考虑
2. learning_rate: 即每个弱学习器的权重缩减系数，也称作步长。对于同样的训练集拟合效果，较小的学习率意味着我们需要更多的弱学习器的迭代次数。通常我们用步长和迭代最大次数一起来决定算法的拟合效果。所以这两个参数n_estimators和learning_rate要一起调参。一般来说，可以从一个小一点的学习率开始调参，默认是0.1。
3. subsample:无放回采样，取值为(0,1]。注意这里的子采样和随机森林不一样，随机森林使用的是放回抽样，而这里是不放回抽样。如果取值为1，则全部样本都使用，等于没有使用子采样。如果取值小于1，则只有一部分样本会去做GBDT的决策树拟合。选择小于1的比例可以减少方差，即防止过拟合，但是会增加样本拟合的偏差，因此取值不能太低。推荐在[0.5, 0.8]之间，默认是1.0，即不使用子采样。
4. Init: 即我们的初始化的时候的弱学习器，如果不输入，则用训练集样本来做样本集的初始化分类回归预测。否则用init参数提供的学习器做初始化分类回归预测。一般用在我们对数据有先验知识，或者之前做过一些拟合的时候，如果没有的话就不用管这个参数了。
5. loss: 即我们GBDT算法中的损失函数。分类模型和回归模型的损失函数是不一样的。对于分类模型，有对数似然损失函数”deviance”和指数损失函数”exponential”两者输入选择。默认是对数似然损失函数”deviance”。一般来说，推荐使用默认的”deviance”。它对二元分离和多元分类各自都有比较好的优化。
6. alpha：这个参数只有GradientBoostingRegressor有，当我们使用Huber损失”huber”和分位数损失“quantile”时，需要指定分位数的值。默认是0.9，如果噪音点较多，可以适当降低这个分位数的值。
弱分类器参数：
1. max_features: 划分时考虑的最大特征数, 可以使用很多种类型的值，默认是”None”,意味着划分时考虑所有的特征数；如果是”log2”意味着划分时最多考虑log_2N个特征；如果是”sqrt”或者”auto”意味着划分时最多考虑sqrt{N}个特征。如果是整数，代表考虑的特征绝对数。如果是浮点数，代表考虑特征百分比，即考虑（百分比N）取整后的特征数。其中N为样本总特征数。一般来说，如果样本特征数不多，比如小于50，我们用默认的”None”就可以了，如果特征数非常多，我们可以灵活使用刚才描述的其他取值来控制划分时考虑的最大特征数，以控制决策树的生成时间。
2. max_depth:控制决策树最大深度，默认不输入，一般来说，数据少或者特征少的时候不用考虑。如果模型样本量多，特征也多的情况下，推荐限制最大深度，常用的取值10-100之间。假设树的深度为N，树为完全二叉树，则树有2**N个叶子节点。
3. min_samples_leaf:叶子节点最少样本数，这个值限制了叶子结点最少的样本数，如果叶子节点数目小于该值，则会和兄弟节点一起被剪枝，默认是1，可以输入最少的样本数的证书，或者最少样本数占样本总数的百分比，如果样本量不大，则不需要考虑这个值，如果样本数据集非常大，则推荐增大这和值。
4. min_samples_split：内部节点再划分所需最小样本数，这个值限制了子树继续划分的条件，如果某节点的样本数少于,min_saples_split，则不会继续再尝试最优特征来进行划分。默认是2.如果样本数量不大，不需要考虑该值。
5. min_weight_fraction_leaf：叶子节点最小的样本权重，这个值限制了叶子节点所有样本权重和的最小值，若果小于这个值，就会和兄弟节点一起呗剪枝，默认是0，即不考虑权重问题，一般来说，如果我们有较多样本有缺失值，或者分类树样本的分布类别偏差很大，就会引入样本权重，这时我们就要注意这个值。
6. max_leaf_nodes；最大叶子节点数，通过限制最大叶子结点数，可以防止过拟合，默认是None，即不限制。如果加了限制，算法就会建议在最大叶子节点数内最优的决策树。如果特征不多，不用考虑这个值，但是特征分成多的话，可以通过交叉验证获得该值。
7. min_impurity_split：节点划分最小不纯度，这个值限制了决策树的增长，如果节点的不纯度（基尼系数，均方差）小于这个阈值，则该节点不再生成子节点，即为叶子节点，默认值1e-7。

二. 随机森林、GBDT、Xgboost区别，以及Xgboost为何用到二阶导？
回答这个问题，首先需要理解下bagging和boosting采样的区别。
这个问题的原文地址：http://blog.youkuaiyun.com/chuanda112233/article/details/51913434
一句话的解释，来自周志华老师的机器学习教科书（ 机器学习-周志华）：Boosting主要关注降低偏差，因此Boosting能基于泛化性能相当弱的学习器构建出很强的集成；Bagging主要关注降低方差，因此它在不剪枝的决策树、神经网络等学习器上效用更为明显。偏差指的是算法的期望预测与真实预测之间的偏差程度，反应了模型本身的拟合能力；方差度量了同等大小的训练集的变动导致学习性能的变化，刻画了数据扰动所导致的影响。
随机森林使用Bagging策略为每个分类器随机选择样本做放回的采样，然后分别在这些样本上训练分类器，通过投票的策略生成结果。而GBDT,Xgboost，Adaboost则采用boosting策略无放回采样，通过迭代地训练一系列的分类器，每个分类器采用的样本分布和上一轮的学习结果有关。
对于Bagging算法来说，由于我们会并行地训练很多不同的分类器的目的就是降低这个方差(variance) ,因为采用了相互独立的基分类器多了以后，值自然就会靠近.所以对于每个基分类器来说，目标就是如何降低这个偏差（bias),所以我们会采用深度很深甚至不剪枝的决策树。
对于Boosting来说，每一步我们都会在上一轮的基础上更加拟合原数据，所以可以保证偏差（bias）,所以对于每个基分类器来说，问题就在于如何选择variance更小的分类器，即更简单的分类器，所以我们选择了深度很浅的决策树。
接下来谈一谈GBDT和Xgboost的区别：
区别引自知乎：https://www.zhihu.com/question/41354392/answer/98658997
• 传统GBDT以CART作为基分类器，xgboost还支持线性分类器，这个时候xgboost相当于带L1和L2正则化项的逻辑斯蒂回归（分类问题）或者线性回归（回归问题）。
• 传统GBDT在优化时只用到一阶导数信息，xgboost则对代价函数进行了二阶泰勒展开，同时用到了一阶和二阶导数。顺便提一下，xgboost工具支持自定义代价函数，只要函数可一阶和二阶求导。
• xgboost在代价函数里加入了正则项，用于控制模型的复杂度。正则项里包含了树的叶子节点个数、每个叶子节点上输出的score的L2模的平方和。从Bias-variance tradeoff角度来讲，正则项降低了模型的variance，使学习出来的模型更加简单，防止过拟合，这也是xgboost优于传统GBDT的一个特性。
• 列抽样（column subsampling）。xgboost借鉴了随机森林的做法，支持列抽样，不仅能降低过拟合，还能减少计算，这也是xgboost异于传统gbdt的一个特性。
• 对缺失值的处理。对于特征的值有缺失的样本，xgboost可以自动学习出它的分裂方向。
• xgboost工具支持并行。boosting不是一种串行的结构吗?怎么并行的？注意xgboost的并行不是tree粒度的并行，xgboost也是一次迭代完才能进行下一次迭代的（第t次迭代的代价函数里包含了前面t-1次迭代的预测值）。xgboost的并行是在特征粒度上的。我们知道，决策树的学习最耗时的一个步骤就是对特征的值进行排序（因为要确定最佳分割点），xgboost在训练之前，预先对数据进行了排序，然后保存为block结构，后面的迭代中重复地使用这个结构，大大减小计算量。这个block结构也使得并行成为了可能，在进行节点的分裂时，需要计算每个特征的增益，最终选增益最大的那个特征去做分裂，那么各个特征的增益计算就可以开多线程进行。
• 可并行的近似直方图算法。树节点在进行分裂时，我们需要计算每个特征的每个分割点对应的增益，即用贪心法枚举所有可能的分割点。当数据无法一次载入内存或者在分布式情况下，贪心算法效率就会变得很低，所以xgboost还提出了一种可并行的近似直方图算法，用于高效地生成候选的分割点。

Xgboost使用泰勒展开式二阶导函数能够加快收敛速度。

三、LR，gbdt，libfm三个模型各适用于处理什么类型的特征？
答案来自知乎：https://www.zhihu.com/question/35821566/answer/91208044
• LR, FM都比较适用于高维稀疏特征, gbdt不适合. FM能够得到特征分量之间的关系(通常是两两特征), LR常用于线性问题，对于非线性问题需要定义非线性函数对特征进行映射, GBDT对线性/非线性问题基本上都通吃..而且效果很好. 取得好的效果嘛..建议gbdt+LR或者gbdt+FM啦, 即gbdt的输出作为LR或者FM的输入, 原始特征经过gbdt转变成高维稀疏特征, 简单来说, gbdt的输出相当于对原始特征进行了特征组合得到高阶属性或者说是非线性映射.