LightGBM，面试会问到的都在这了（附代码）！

最新推荐文章于 2025-05-27 18:00:51 发布

原创

最新推荐文章于 2025-05-27 18:00:51 发布 · 1.5k 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#LightGBM #GBDT #XGBoost #机器学习 #决策树

LightGBM是微软开源的高性能GBDT框架，通过Histogram算法、Leaf-wise生长策略、直方图差加速及类别特征支持等优化，实现速度、内存和准确率的提升。相比XGBoost，LightGBM在Higgs数据集上速度提升10倍，内存占用降低1/6。此外，LightGBM支持并行训练和分布式处理，适用于大规模数据处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. LightGBM是什么东东

不久前微软DMTK(分布式机器学习工具包)团队在GitHub上开源了性能超越其他boosting工具的LightGBM，在三天之内GitHub上被star了1000次，fork了200次。知乎上有近千人关注“如何看待微软开源的LightGBM？”问题，被评价为“速度惊人”，“非常有启发”，“支持分布式”，“代码清晰易懂”，“占用内存小”等。

LightGBM （Light Gradient Boosting Machine）(请点击https://github.com/Microsoft/LightGBM)是一个实现GBDT算法的框架，支持高效率的并行训练。

LightGBM在Higgs数据集上LightGBM比XGBoost快将近10倍，内存占用率大约为XGBoost的1/6，并且准确率也有提升。GBDT在每一次迭代的时候，都需要遍历整个训练数据多次。如果把整个训练数据装进内存则会限制训练数据的大小；如果不装进内存，反复地读写训练数据又会消耗非常大的时间。尤其面对工业级海量的数据，普通的GBDT算法是不能满足其需求的。

LightGBM提出的主要原因就是为了解决GBDT在海量数据遇到的问题，让GBDT可以更好更快地用于工业实践。