GBDT面试级知识点整理

简介

gbdt全称梯度下降树，在传统机器学习算法里面是对真实分布拟合的最好的几种算法之一，在前几年深度学习还没有大行其道之前，gbdt在各种竞赛是大放异彩。

原因大概有几个:

1. 效果确实挺不错。
2. 即可以用于分类也可以用于回归。
3. 三是可以筛选特征。

这三点实在是太吸引人了，导致在面试的时候大家也非常喜欢问这个算法。 gbdt的面试考核点，大致有下面几个:

• gbdt 的算法的流程？
• gbdt 如何选择特征 ？
• gbdt 如何构建特征 ？
• gbdt 如何用于分类？
• gbdt 通过什么方式减少误差 ？
• gbdt的效果相比于传统的LR，SVM效果为什么好一些 ？
• gbdt 如何加速训练？
• gbdt的参数有哪些，如何调参 ？
• gbdt 实战当中遇到的一些问题 ？
• gbdt的优缺点 ？

GBDT解析

GBDT主要由三个概念组成：

• Regression Decistion Tree（即DT)
• Gradient Boosting（即GB)，
• Shrinkage (算法的一个重要演进分枝，目前大部分源码都按该版本实现）。
  搞定这三个概念后就能明白GBDT是如何工作的。

DT 回归树

GBDT的核心在于累加所有树的结果作为最终结果，而分类树的结果显然是没办法累加的，所以GBDT中的树都是回归树，不是分类树，这点对理解GBDT相当重要。

GB 梯度迭代

Boosting，迭代，即通过迭代多棵树来共同决策。

这怎么实现呢？难道是每棵树独立训练一遍，比如A这个人，第一棵树认为是10岁，第二棵树认为是0岁，第三棵树认为是20岁，我们就取平均值10岁做最终结论？–当然不是！且不说这是投票方法并不是GBDT，只要训练集不变，独立训练三次的三棵树必定完全相同，这样做完全没有意义。

之前说过，GBDT是把所有树的结论累加起来做最终结论的，所以可以想到每棵树的结论并不是年龄本身，而是年龄的一个累加量。

GBDT的核心就在于，每一棵树学的是之前所有树结论和的残差，这个残差就是一个加预测值后能得真实值的累加量。

比如A的真实年龄是18岁，但第一棵树的预测年龄是12岁，差了6岁，即残差为6岁。那么在第二棵树里我们把A的年龄设为6岁去学习，如果第二棵树真的能把A分到6岁的叶子节点，那累加两棵树的结论就是A的真实年龄；如果第二棵树的结论是5岁，则A仍然存在1岁的残差，第三棵树里A的年龄就变成1岁，继续学。
这就是Gradient Boosting在GBDT中的意义，简单吧。

Shrinkage

Shrinkage（缩减）的思想认为，每次走一小步逐渐逼近结果的效果，要比每次迈一大步很快逼近结果的方式更容易避免过拟合。即它不完全信任每一个棵残差树，它认为每棵树只学到了真理的一小部分，累加的时候只累加一小部分，通过多学几棵树弥补不足。

Shrinkage仍然以残差作为学习目标，但对于残差学习出来的结果，只累加一小部分（step*残差）逐步逼近目标，step一般都比较小，如0.01~0.001（注意该step非gradient的