12天summer----高级算法梳理-LightGBM算法梳理

1、LightGBM简介

　　LightGBM是一个梯度Boosting框架，使用基于决策树的学习算法。它可以说是分布式的，高效的，有以下优势：

　　1）更快的训练效率  2）低内存使用  3）更高的准确率 4）支持并行化学习 5）可以处理大规模数据

 

　Xgboost的缺点　1）每轮迭代时，都需要遍历整个训练数据多次。如果把整个训练数据装进内存则会限制训练数据的大小；如果不装进内存，反复地读写训练数据又会消耗非常大的时间。　2）预排序方法的时间和空间的消耗都很大。

参考https://www.cnblogs.com/jiangxinyang/p/9337094.html 

 2、LightGBM原理

参考https://blog.youkuaiyun.com/huacha__/article/details/81057150

　　1）直方图算法

　　直方图算法的基本思想是先把连续的浮点特征值离散化成kk个整数，同时构造一个宽度为kk的直方图。在遍历数据的时候，根据离散化后的值作为索引在直方图中累积统计量，当遍历一次数据后，直方图累积了需要的统计量，然后根据直方图的离散值，遍历寻找最优的分割点。在XGBoost中需要遍历所有离散化的值，而在这里只要遍历kk个直方图的值。

 2) 支持类别特征

&nbs