本文对比了XGBoost与LightGBM两种梯度提升框架的主要区别：包括特征处理方式、生长策略及分类结果权重等。XGBoost采用预排序方法处理连续特征，而LightGBM使用直方图统计；XGBoost采用广度优先生长策略，LightGBM则采取叶子导向策略。
1.xgboost基于一种划分时对数值进行预排序presort，因此不能处理类别型特征，这种方法好处是能够处理精准找到分裂点，但是时间复杂度很高；
而Light GBM基于hist直方图，对于连续性特征将其类别化k类，然后进行hist统计，根据直方图离散值的统计，来寻找最优分割点。
2.xgboost生长策略是广度优先level-wise，而LGBM采用的策略是leaf-wise策略，只对能带来最大增益的节点进行分裂。
3.分类结果权重上，xgboost和LGBM是基于基分类器的错误率有关
4.RF是并行训练，所有分类器之间没有任何关系；但是GBDT是串行的，下个分类器是基于上个分类器
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
