【数据竞赛】“达观杯”文本智能处理挑战赛５

__盛夏光年__

于 2019-04-13 21:29:40 发布

阅读量254

点赞数

CC 4.0 BY-SA版权

文章标签：数据竞赛文本处理

本文链接：https://blog.youkuaiyun.com/u012736685/article/details/89289139

本文深入探讨LightGBM模型，一种高效的梯度提升决策树框架。对比XGBoost，LightGBM通过Histogram算法和Leaf-wise生长策略提高训练速度，减少内存使用，提升预测准确性。文章还介绍了LightGBM的关键特性，如直方图做差加速、类别特征支持、Cache命中率优化及多线程优化。最后，通过实例展示了如何使用Python和LightGBM进行模型训练与评估。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、LightGBM模型

1、XGBoost缺点

每轮迭代时，都需要遍历整个训练数据多次。如果把整个训练数据装进内存则会限制训练数据的大小；如果不装进内存，反复地读写训练数据又会消耗非常大的时间。
预排序方法（pre-sorted）：首先，空间消耗大。这样的算法需要保存数据的特征值，还保存了特征排序的结果（例如排序后的索引，为了后续快速的计算分割点），这里需要消耗训练数据两倍的内存。其次时间上也有较大的开销，在遍历每一个分割点的时候，都需要进行分裂增益的计算，消耗的代价大。
对cache优化不友好。在预排序后，特征对梯度的访问是一种随机访问，并且不同的特征访问的顺序不一样，无法对cache进行优化。同时，在每一层长树的时候，需要随机访问一个行索引到叶子索引的数组，并且不同特征访问的顺序也不一样，也会造成较大的cache miss。

2、LightGBM简介

LightGBM模型是一种boosting框架，包含两个关键点：light即轻量级，GBM 梯度提升机。它可以说是分布式的，高效的，有以下优势：

更快的训练效率
低内存使用
更高的准确率
支持并行化学习
可处理大规模数据

3、LightGBM的特点

基于Histogram的决策树算法
带深度限制的Leaf-wise的叶子生长策略
直方图做差加速
直接支持类别特征(Categorical Feature)
Cache命中率优化
基于直方图的稀疏特征优化
多线程优化

（１）Histogram算法

基本思想：先把连续的浮点特征值离散化成k个整数，同时构造一个宽度为k的直方图。遍历数据时，根据离散化后的值作为索引在直方图中累积统计量，当遍历一次数据后，直方图累积了需要的统计量，然后根据直方图的离散值，遍历寻找最优的分割点。

（２）带深度限制的Leaf-wise的叶子生长策略

Level-wise过一次数据可以同时分裂同一层的叶子，容易进行多线程优化，也好控制模型复杂度，不容易过拟合。但实际上Level-wise是一种低效算法，因为它不加区分的对待同一层的叶子，带来了很多没必要的开销，因为实际上很多叶子的分裂增益较低，没必要进行搜索和分裂。

Leaf-wise则是一种更为高效的策略：每次从当前所有叶子中，找到分裂增益最大的一个叶子，然后分裂，如此循环。因此同Level-wise相比，在分裂次数相同的情况下，Leaf-wise可以降低更多的误差，得到更好的精度。

Leaf-wise的缺点：可能会长出比较深的决策树，产生过拟合。因此LightGBM在Leaf-wise之上增加了一个最大深度限制，在保证高效率的同时防止过拟合。

二、LightGBM参数

LightGBM参数包括：核心参数，学习控制参数，IO参数，目标参数，度量参数，网络参数，GPU参数，模型参数，这里常修改的便是核心参数，学习控制参数，度量参数等。

所有的参数含义，参考：http://lightgbm.apachecn.org/cn/latest/Parameters.html

调参过程：

num_leaves
- LightGBM使用的是leaf-wise的算法，因此在调节树的复杂程度时，使用的是num_leaves而不是max_depth。
- 大致换算关系： $num_leaves = 2^(max_depth)$
样本分布非平衡数据集：可以param[‘is_unbalance’]=’true’
Bagging参数：bagging_fraction+bagging_freq（必须同时设置）、feature_fraction
min_data_in_leaf、min_sum_hessian_in_leaf

三、lightGBM实现

# -*- coding: utf-8 -*-
import pickle
import lightgbm as lgb
import pandas as pd
from sklearn.metrics import mean_squared_error
from sklearn.model_selection import GridSearchCV
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score

fp = open('./features/data_tfidf_train.pkl', 'rb')
x_train,y_train = pickle.load(fp)
x_train, x_test, y_train, y_test = train_test_split(x_train, y_train, test_size=0.3, random_state=2019)

print('Start training...')
# 创建模型，训练模型
estimator=lgb.sklearn.LGBMClassifier(num_leaves=31,learning_rate=0.05,n_estimators=20)
estimator.fit(x_train,y_train)      
print('Start predicting...')
y_pred = estimator.predict(x_test)   

# 模型评估
print('The rmse of prediction is:', mean_squared_error(y_test, y_pred) ** 0.5)
#f1_score
label = []
for i in range(1, 20):
    label.append(i)
f1 = f1_score(y_test, y_pred, labels=label, average='micro')
print('The F1 Score of lightgbm classifier: ' + str("%.2f" % f1))

输出结果

Start training...
Start predicting...
The rmse of prediction is: 5.1609562285
The F1 Score of lightgbm classifier: 0.59