Spark 3.0 - 12.ML GBDT 梯度提升树理论与实战

目录

一.引言

二.GBDT 理论

1.集成学习

2.分类 & 回归问题

3.梯度提升

4.GBDT 生成

三.GBDT 实战

1.数据准备

2.构建 GBDT Pipeline

3.预测与评估

四.总结

---

一.引言

关于决策树前面已经介绍了常规决策树与随机森林两种类型的知识，本文主要介绍梯度提升树 Gradient Boosting Decision Tree 即常说的 GBDT，其实一种使用决策树集成的流行分类和回归方法。梯度提升算法的思想类似于随机梯度下降。该算法中模型由若干个 F(x) 即基学习器构成，每个 F(x) 都拥有一个权重 Weight，初始化时各个权重相同，之后不断地将模型计算结果与真实结果进行比较，如果出错则增加错误样本的权重并基于新权重样本，让模型朝着损失减少最快的负梯度方法进行优化。其整体可以看做是 Bossting 方法，主要思想是每一次建立模型都是在之前建立模型损失函数的梯度下降方向，即"每次沿着当前位置最陡峭，损失下降最快的方向移动"。

二.GBDT 理论

决策树相对来说很直观形象，同学们也很好理解，但是到了梯度提升树，负梯度、最