LightGBM 调参

---

一、LightGBM简介

  LightGBM是一个梯度Boosting框架，使用基于决策树的学习算法。它可以说是分布式的，高效的，有以下优势：

  1）更快的训练效率
  2）低内存使用
  3）更高的准确率
  4）支持并行化学习
  5）可以处理大规模数据

  在讨论LightGBM时，不可避免的会提到XGboost，关于XGboost的不足之处主要有：

  1）每轮迭代时，都需要遍历整个训练数据多次。如果把整个训练数据装进内存则会限制训练数据的大小；如果不装进内存，反复地读写训练数据又会消耗非常大的时间。

  2）预排序方法的时间和空间的消耗都很大

二、LightGBM原理

2.1 直方图算法

  直方图算法的基本思想是先把连续的浮点特征值离散化成k个整数，同时构造一个宽度为k的直方图。在遍历数据的时候，根据离散化后的值作为索引在直方图中累积统计量，当遍历一次数据后，直方图累积了需要的统计量，然后根据直方图的离散值，遍历寻找最优的分割点。在XGBoost中需要遍历所有离散化的值，而在这里只要遍历k个直方图的值。

  使用直方图算法有很多优点。首先，最明显就是内存消耗的降低，直方图算法不仅不需要额外存储预排序的结果，而且可以只保存特征离散化后的值。

  然后在计算上的代价也大幅降低，XGBoost预排序算法每遍历一个特征值就需要计算一次分裂的增益，而直方图算法只需要计算k次（k可以认为是常数），时间复杂度从O(#data * #feature) 优化到O(k* #features)。
　　当然，Histogram算法并不是完美的。由于特征被离散化后，找到的并不是很精确的分割点，所以会对结果产生影响。但在不同的数据集上的结果表明，离散化的分割点对最终的精度影响并不是很大，甚至有时候会更好一点。原因是决策树本来就是弱模型，分割点是不是精确并不是太重要；较粗的分割点也有正则化的效果，可以有效地防止过拟合；即使单棵树的训练误差比精确分割的算法稍大，但在梯度提升（Gradient Boosting）的框架下没有太大的影响。

2.2 LightGBM的直方图做差加速

  一个容易观察到的现象：一个叶子的直方图可以由它的父亲节点的直方图与它兄弟的直方图做差得到。通常构造直方图，需要遍历该叶子上的所有数据，但直方图做差仅需遍历直方图的k个桶。利用这个方法，LightGBM可以在构造一个叶子的直方图后（父节点在上一轮就已经计算出来了），可以用非常微小的代价得到它兄弟叶子的直方图，在速度上可以提升一倍。

2.3 带深度限制的Leaf-wise的叶子生长策略

  Level-wise过一次数据可以同时分裂同一层的叶子，容易进行多线程优化，也好控制模型复杂度，不容易过拟合。但实际上Level-wise是一种低效的算法，因为它不加区分的对待同一层的叶子，带来了很多没必要的开销，因为实际上很多叶子的分裂增益较低，没必要进行搜索和分裂。

  Leaf-wise则是一种更为高效的策略，每次从当前所有叶子中，找到分裂增益最大的一个叶子，然后分裂，如此循环。因此同Level-wise相比，在分裂次数相同的情况下，Leaf-wise可以降低更多的误差，得到更好的精度。Leaf-wise的缺点是可能会长出比较深的决策树，产生过拟合。因此LightGBM在Leaf-wise之上增加了一个最大深度的限制，在保证高效率的同时防止过拟合。

level_wise：多线程优化，控制模型复杂度，不易过拟合。
leaf-wise：计算代价较小，更精确，易过拟合（map_depth）。

3.4 直接支持类别特征（即不需要做one-hot编码）

  实际上大多数机器学习工具都无法直接支持类别特征，一般需要把类别特征，转化到多维的one-hot编码特征，降低了空间和时间的效率。而类别特征的使用是在实践中很常用的。基于这个考虑，LightGBM优化了对类别特征的支持，可以直接输入类别特征，不需要额外的one-hot编码展开。并在决策树算法上增加了类别特征的决策规则。在Expo数据集上的实验，相比0/1展开的方法，训练速度可以加速8倍，并且精度一致。

3.5 直接支持高效并行

  LightGBM还具有支持高效并行的优点。LightGBM原生支持并行学习，目前*支持特征并行(Featrue Parallelization)和数据并行(Data Parallelization)的两种。还有一种是基于投票的数据并行(Voting Parallelization)。

1）特征并行的主要思想是在不同机器、在不同的特征集合上分别寻找最优的分割点，然后在机器间同步最优的分割点。
2）数据并行则是让不同的机器先在本地构造直方图，然后进行全局的合并，最后在合并的直方图上面寻找最优分割点。

LightGBM针对这两种并行方法都做了优化：

●特征并行算法中，通过在本地保存全部数据避免对数据切分结果的通信。
●数据并行中使用分散规约 (Reduce scatter) 把直方图合并的任务分摊到不同的机器，降低通信和计算，并利用直方图做差，进一步减少了一半的通信量。
●基于投票的数据并行(Voting Parallelization)则进一步优化数据并行中的通信代价，使通信代价变成常数级别。在数据量很大的时候，使用投票并行可以得到非常好的加速效果。

使用场景：

特征并行：数据量小，但特征数量多；
数据并行：数据量较大，特征数量少；
投票并行：数据量大，特征数量多。

三、梯度提升的方法

  使用LightGBM，你可以运行不同类型的渐变增强提升方法。你有:GBDT、DART和GOSS，这些可以通过“boosting”参数指定。

3.1 梯度提升决策树（GBDT）

  该方法是传统梯度提升决策树，也是XGBoost和pGBRT等优秀库背后的算法。但由于其精度高、效率高、稳定性好，目前已得到广泛的应用。

  梯度提升决策树（GBDT）基于三个重要原则：

1、弱学习者(决策树)
2、梯度优化
3、提升技术

所以在gbdt方法中，我们有很多决策树(弱学习者)。这些树是按顺序构建的:

首先，第一棵树学习如何适应目标变量
第二棵树学习如何适合残差(差异)之间的预测，第一棵树和地面真相
第三棵树学习如何匹配第二棵树的残差，以此类推。

  所有这些树都是通过传播整个系统的误差梯度来训练的。

  gbdt的主要缺点是，在每个树节点中找到最佳分割点非常耗时，而且会消耗内存。其他的提升方法试图解决这个问题。

3.2 DART 梯度提升

  DART梯度提升数，是使用dropout(神经网络中的标准)的方法，来改进模型正则化和处理一些其他不太明显的问题。
  也就是说，gbdt存在过度专门化（over-specialization）的问题，这意味着在以后的迭代中添加的树往往只会影响对少数实例的预测，而对其余实例的贡献则可以忽略