RF,GBDT,XGBOOST, LightGBM的对比和分析

最新推荐文章于 2025-05-13 08:19:53 发布

默一鸣

最新推荐文章于 2025-05-13 08:19:53 发布

阅读量5.5k

点赞数 1

分类专栏： ML Interview

本文链接：https://blog.youkuaiyun.com/yimingsilence/article/details/82193890

版权

1.概述

RF、GBDT和都属于集成学习（Ensemble Learning），集成学习的目的是通过结合多个基学习器的预测结果来改善单个学习器的泛化能力和鲁棒性。 xgboost和lightgbm是gbdt的优秀工程实现及优化改进。

2.集成学习方法

bootstrap, boosting, bagging, stacking集成算法原理介绍

详细的bootstrap

3.各种实例解析

3.1.信息增益和决策树

信息增益、信息增益率、gini、特征选择、决策树

决策树系列算法

3.2.RF

随机森林基于Bagging的策略是Bagging的扩展变体，概括RF包括四个部分：1、随机选择样本（放回抽样）；2、随机选择特征（相比普通通bagging多了特征采样）；3、构建决策树；4、随机森林投票（平均）。在构建决策树的时候，RF的每棵决策树都最大可能的进行生长而不进行剪枝；在对预测输出进行结合时，RF通常对分类问题使用简单投票法，回归任务使用简单平均法。　　

RF的重要特性是不用对其进行交叉验证或者使用一个独立的测试集获得无偏估计，它可以在内部进行评估，也就是说在生成的过程中可以对误差进行无偏估计，由于每个基学习器只使用了训练集中约63.2%的样本，剩下约36.8%的样本可用做验证集来对其泛化性能进行“包外估计”。

3.3.GBDT

基于Boosting，GBDT与传统的Boosting区别较大，它的每一次计算都是为了减少上一次的残差，而为了消除残差，我们可以在残差减小的梯度方向上建立模型,所以说，在GradientBoost中，每个新的模型的建立是为了使得之前的模型的残差往梯度下降的方法，与传统的Boosting中关注正确错误的样本加权有着很大的区别。
　　在GradientBoosting算法中，关键就是利用损失函数的负梯度方向在当前模型的值作为残差的近似值，进而拟合一棵CART回归树。 GBDT的会累加所有树的结果，而这种累加是无法通过分类完成的，因此GBDT的树都是CART回归树，而不是分类树（尽管GBDT调整后也可以用于分类但不代表GBDT的树为分类树）。

3.4.XGBoost

XGBoost的性能在GBDT上又有一步提升，坊间对XGBoost最大的认知在于其能够自动地运用CPU的多线程进行并行计算，同时在算法精度上也进行了精度的提高。

1).传统GBDT以CART作为基分类器，xgboost还支持线性分类器，这个时候xgboost相当于带L1和L2正则化项的逻辑斯蒂回归（分类问题）或者线性回归（回归问题）。 —可以通过booster [default=gbtree]设置参数:gbtree: tree-based models/gblinear: linear models

2).传统GBDT在优化时只用到一阶导数信息，xgboost则对代价函数进行了二阶泰勒展开，同时用到了一阶和二阶导数。顺便提一下，xgbo