LightGBM（LGB）、随机森林（RF）和XGBoost是机器学习中三种主流的集成学习算法的差异

最新推荐文章于 2025-08-30 16:45:00 发布

原创

最新推荐文章于 2025-08-30 16:45:00 发布 · 2.5k 阅读

CC 4.0 BY-SA版权

文章标签：

LightGBM（LGB）、随机森林（RF）和XGBoost是机器学习中三种主流的集成学习算法，它们在算法原理、性能优化和应用场景上存在显著差异，但也共享集成学习的底层思想。以下是三者的详细对比分析：

维度	随机森林（RF）	XGBoost	LightGBM（LGB）
集成方法	Bagging（并行训练多棵独立树）	Boosting（串行训练，树间依赖）	Boosting（串行训练，树间依赖）
基学习器	决策树（CART）	决策树（CART）	决策树（CART）
目标函数	无显式正则化，依赖样本随机性降低方差	包含损失函数+正则化项（L1/L2）	包含损失函数+正则化项（L1/L2）
分裂策略	基于基尼系数或