本文介绍了如何在MATLAB中实现XGBoost极限梯度提升树进行多输入单输出的回归预测。XGBoost是优化的分布式梯度提升库，通过聚焦残差和二阶泰勒展开进行训练。模型描述中提到，对于特征为空的样本，XGBoost有不同的处理策略。程序设计部分展示了主程序的概要。参考了多个优快云博客文章链接。
回归预测 | MATLAB实现XGBoost极限梯度提升树多输入单输出
预测效果
基本介绍
XGBoost的全称是eXtreme Gradient Boosting，它是经过优化的分布式梯度提升库，旨在高效、灵活且可移植。
- xgboost是属于boosting家族，是GBDT算法的一个工程实现，在模型的训练过程中是聚焦残差，在目标函数中使用了二阶泰勒展开并加入了正则，在决策树的生成过程中采用了精确贪心的思路，寻找最佳分裂点的时候，使用了预排序算法，对所有特征都按照特征的数值进行预排序，然后遍历所有特征上的所有分裂点位，计算按照这些候选分裂点位分裂后的全部样本的目标函数增益，找到最大的那个增益对应的特征和候选分裂点位，从而进行分裂。
- 这样一层一层的
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
