《LightGBM: A Highly Efficient Gradient Boosting Decision Tree》论文笔记

最新推荐文章于 2023-03-10 21:37:12 发布

原创

最新推荐文章于 2023-03-10 21:37:12 发布 · 2.4k 阅读

2 ·

CC 4.0 BY-SA版权

LightGBM是一种高效的梯度提升决策树算法，通过Gradient-based One-Side Sampling (GOSS) 和 Exclusive Feature Bundling (EFB) 技术优化了GBDT的训练效率。GOSS通过保留高梯度数据实例并减少低梯度实例来加速训练，而EFB则通过打包互斥特征降低特征维度。实验表明，LightGBM在保持准确性的同时，速度比传统GBDT快20倍以上，尤其适用于高维度和大数据场景。

1 简介

本文根据2017年microsoft研究所等人写的论文《LightGBM: A Highly Efficient Gradient Boosting Decision Tree》翻译总结。

Gradient Boosting Decision Tree (GBDT)已是一个流行的机器学习方法，也存在一些实施，例如XGBoost和pGBRT。可以进行多类别分类、点击率预测、学习排名等应用场景。但他们的效率和可扩展性还是不太满意，尤其是针对高维度数据和大数据时。其中一个主要原因是：对于每个特征，他们需要扫描所有的数据实例来评估所有可能分割点的信息增益，这非常花费时间。

为了解决这个问题，我们引入了两项技术：Gradient-based One-Side Sampling (GOSS) and
Exclusive Feature Bundling (EFB，排除在外特征的捆绑打包). 采用GOSS和EFB的GBDT算法，我们叫做LightGBM。

采用GOSS，我们可以排除相当比例的小梯度信息的数据实例，仅使用剩下的数据实例评估信息增益。拥有大梯度的数据实例在信息增益计算中扮演重要的角色。
即GOSS用来减少训练数据量。

采用EFB，我们可以把互斥的特征（他们很少同时拥有非零值）打包在一起，来减少特征的数量。寻找互斥特征的最优打包是NP-hard（NP是指多项式复杂程度的非确定性问题non-deterministic polynomial，缩写NP）的，但一个贪婪的算法可以完成很好的近似比率。
即EFB用来减少特征维度。

LightGBM在完成相同正确率的情况下，相比传统的GBDT有20倍以上的速度。文中主要将LightGBM和XGBoost对比。