从决策树到GBDT

首先，决策树分为分类树和回归树。GBDT中的树是回归树（不是分类树），GBDT用来做回归预测，调整后也可以用于分类。

以下罗列了比较好的学习资源，看完就可以掌握GBDT了

————————————————

决策树参考：

https://blog.youkuaiyun.com/weixin_36586536/article/details/80468426

https://www.cnblogs.com/en-heng/p/5013995.html

————————————————

分类树回归树区别参考：

https://blog.youkuaiyun.com/puqutogether/article/details/44593647

分类树
以C4.5分类树为例，C4.5分类树在每次分枝时，是穷举每一个feature的每一个阈值，找到使得按照feature<=阈值，和feature>阈值分成的两个分枝的熵最大的阈值(熵最大的概念可理解成尽可能每个分枝的男女比例都远离1:1)，按照该标准分枝得到两个新节点，用同样方法继续分枝直到所有人都被分入性别唯一的叶子节点，或达到预设的终止条件，若最终叶子节点中的性别不唯一，则以多数人的性别作为该叶子节点的性别。
总结：分类树使用信息增益或增益比率来划分节点；每个节点样本的类别情况投票决定测试样本的类别。

回归树
回归树总体流程也是类似，区别在于，回归树的每个节点（不一定是叶子节点）都会得一个预测值，以年龄为例，该预测值等于属于这个节点的所有人年龄的平均值。分枝时穷举每一个feature的每个阈值找最好的分割点，但衡量最好的标准不再是最大熵，而是最小化均方差即(每个人的年龄-预测年龄)^2 的总和 / N。也就是被预测出错的人数越多，错的越离谱，均方差就越大，通过最小化均方差能够找到最可靠的分枝依据。分枝直到每个叶子节点上人的年龄都唯一或者达到预设的终止条件(如叶子个数上限)，若最终叶子节点上人的年龄不唯一，则以该节点上所有人的平均年龄做为该叶子节点的预测年龄。
总结：回归树使用最大均方差划分节点；每个节点样本的均值作为测试样本的回归预测值。
————————————————

决策树、Bagging、随机森林、Boosting、AdaBoost、GBDT、XGBoost区别参考：

http://www.yanglajiao.com/article/doulinxi115413/80382066

————————————————

GBDT算法实例讲解和代码：

https://blog.youkuaiyun.com/zpalyq110/article/details/79527653

 

————————————————

系统性学习资料（国立台湾大学-林轩田）

https://www.youtube.com/playlist?list=PLXVfgk9fNX2IQOYPmqjqWsNUFl2kpk1U2

Blending and Bagging：

https://www.youtube.com/watch?v=mjUKsp0MvMI  Blending and Bagging :: Motivation of Aggregation

https://www.youtube.com/watch?v=DAFkKJYTMW4 Blending and Bagging :: Uniform Blending 

结论：uniform blending的操作是求平均的过程，能得到更加稳定的表现（注意，稳定不代表最好）

https://www.youtube.com/watch?v=i03s1g7X_m4  Blending and Bagging :: Linear and Any Blending

https://www.youtube.com/watch?v=3T1mdvzRAF0&list=PLXVfgk9fNX2IQOYPmqjqWsNUFl2kpk1U2&index=29  Blending and Bagging :: Bagging

Blending and Bagging部分课程学习笔记：

https://blog.youkuaiyun.com/red_stone1/article/details/101302659

————————————————