图解机器学习算法(11) | LightGBM模型详解（机器学习通关指南·完结）

原创 已于 2022-08-09 14:48:39 修改 · 3w 阅读 · 116 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #算法 #python

于 2022-03-10 17:39:05 首次发布
本文介绍了LightGBM，微软开发的高效GBDT模型，强调其在大数据场景下的优势，如训练速度提升、低内存消耗和准确性增强。文章详细讲解了LightGBM的优化点，如直方图算法、决策树生长策略和并行支持，以及其在类别特征处理和通信优化上的改进。

ShowMeAI研究中心

引言

之前ShowMeAI对强大的boosting模型工具XGBoost做了介绍（详见ShowMeAI文章图解机器学习 | XGBoost模型详解）。本篇我们来学习一下GBDT模型（详见ShowMeAI文章 图解机器学习 | GBDT模型详解）的另一个进化版本：LightGBM。

LightGBM是微软开发的boosting集成模型，和XGBoost一样是对GBDT的优化和高效实现，原理有一些相似之处，但它很多方面比XGBoost有着更为优秀的表现。官方给出的这个工具库模型的优势如下：

  • 更快的训练效率
  • 低内存使用
  • 更高的准确率
  • 支持并行化学习
  • 可处理大规模数据
  • 支持直接使用category特征

下图是一组实验数据，在这份实验中，LightGBM比XGBoost快将近10倍，内存占用率大约为XGBoost的1/6，准确率也略有提升。

1.LightGBM动机

互联网领域的算法应用，通常背后都有海量的大数据。深度学习中一系列神经网络算法，都是以mini-batch的方式喂数据迭代训练的，总训练数据量不受内存限制。

但我们用到的机器学习算法，比如GBDT（参考ShowMeAI文章 GBDT详解）在每一次迭代的时候，都需要遍历整个训练数据多次。

  • 如果把整个训练数据一次性装进内存，会明显限制训练数据的大小。
  • 如果不装进内存，反复地读写训练数据又会消耗非常大的时间。

面对工业级海量的数据，普通的GBDT算法无法满足需求。LightGBM提出的主要原因之一，就是为了解决上述大数据量级下的GBDT训练问题，以便工业实践中能支撑大数据量并保证效率。

2.XGBoost优缺点

我们之前介绍过强大的XGBoost（详见ShowMeAI文章图解机器学习 | XGBoost模型详解），但XGBoost也依旧存在一些缺点，LightGBM针对其中的一部分进行了调整优化。XGB优缺点归纳如下：

1）精确贪心算法

轮迭代时，都需要遍历整个训练数据多次。如果把整个训练数据装进内存则会限制训练数据的大小；如果不装进内存，反复地读写训练数据又会消耗非常大的时间。

G a i n = 1 2 [ G L 2 H L + λ + G R 2 H R + λ − ( G L + G R ) 2 H L + H R + λ − γ ] Gain=\frac{1}{2}\left [ \frac{G_{L}^{2}}{H_{L}+\lambda} + \frac{G_{R}^{2}}{H_{R}+\lambda} - \frac{\left(G_{L}+G_{R}\right)^{2}}{H_{L}+H_{R}+\lambda} - \gamma \right ] Gain=21​[HL​+λGL2​​+HR​+λG

最低0.47元/天 解锁文章
一文速学-LightGBM模型算法原理以及实现+Python项目实战
master_hunter的博客
08-23 1483
LightGBM（Light Gradient Boosting Machine）是一种基于梯度提升决策树（Gradient Boosting Decision Tree，简称GBDT）算法的机器学习框架。GBDT是一种集成学习方法，它通过逐步训练一系列决策树来提升模型性能。每个新的决策树会尝试纠正前面树的预测误差。LightGBM是一种基于GBDT的算法，但它在构建决策树和训练过程中采用了一些优化策略，以提高效率和性能。算法差异点GBDTXGBoostLightGBMCatBoost弱学习器。
机器学习之lightGBM模型
superY_26的博客
09-04 2万+
一、lightGBM模型介绍 1. lightGBM模型简介 lightGBM模型是一个梯度提升决策树(GBDT)的实现，其本质原理就是利用基分类器(决策树)训练集成，得到最优的模型。相同的模型还有XGBoost，但因为XGBoost模型在多维度的大数据集下，计算效率较差和可扩展性较低(主要原因是对于每个特征，它们都要扫描所有的数据样本来评估所有可能分枝点的信息增益)，lightGBM模型为了解决这个问题，提出了两个技术：单边梯度采样算法(Gradient-based One-Side Sampling，G
LightGBM（lgb）详解
热门推荐
weixin_44023658的博客
06-13 7万+
1. LightGBM简介 GBDT (Gradient Boosting Decision Tree) 是机器学习中一个长盛不衰的模型，其主要思想是利用弱分类器（决策树）迭代训练以得到最优模型，该模型具有训练效果好、不易过拟合等优点。GBDT不仅在工业界应用广泛，通常被用于多分类、点击率预测、搜索排序等任务；在各种数据挖掘竞赛中也是致命武器，据统计Kaggle上的比赛有一半以上的冠军方案都是基于GBDT。而LightGBM（Light Gradient Boosting Machine）是一个实现GBDT
彻底解决过拟合！LightGBM Bagging技术3大实战技巧
gitblog_00717的博客
09-04 851
你是否在训练机器学习模型时遇到过这样的困境：训练集上准确率高达98%，一到测试集却暴跌至70%？这种令人沮丧的过拟合问题，在梯度提升树（Gradient Boosting Machine, GBM）模型中尤为常见。而LightGBM作为微软开发的高效GBM框架，其内置的Bagging（袋装）技术正是解决这一痛点的利器。本文将通过3个实战技巧，带你掌握如何利用Bagging技术构建更稳健的模型，让你...
LightGBM（Light Gradient Boosting Machine）模型详解
最新发布
m0_73161433的博客
10-31 448
objective：目标函数，决定任务类型（如分类、回归）：binary；multiclass；regression；lambdarank。metric：评估指标（需与任务匹配）：auc（二分类）、（多分类）；mse（均方误差）、mae（平均绝对误差）。LightGBM 是梯度提升树的 “工程级优化典范”，通过直方图离散化、GOSS 样本抽样、EFB 特征捆绑和 Leaf-wise 生长四大核心技术，在保持高精度的同时，解决了传统 GBDT 训练慢、内存高的痛点。
模型融合---LightGBM总结
dili8870的博客
03-09 2936
一、LightGBM简介： 所属：boosting迭代型、树类算法 适用范围：回归/分类/排序 LightGBM工具包：lightGBM英文文档|lightGBM中文文档 论文链接 优点： 基于Histogram的决策树算法 带深度限制的Leaf-wise的叶子生长策略 直方图做差加速 直接支持类别特征(Categorical Feature) Cache...
图解LightGBM直方图算法、单边梯度采样算法（GOSS）
Brandonn_Xu的博客
11-15 2252
我近期研究了各种树模型，在理解LightGBM的直方图、GOSS单边梯度采样环节时都有些困难。我在网上找了很多资料，但大部分以文字为主，且非常抽象，理解起来十分困难。因此我想通过画图、画表、举例子的方式，具体解释一下LightGBM的直方图算法和GOSS算法。本文旨在以图表化的方式展现直方图算法和GOSS算法的具体过程，因此不涉及任何数学推导和代码内容。如果有小伙伴对梯度提升树、xgboost、LightGBM的概念还比较陌生，建议先补充相关知识。
LightGBM模型详解
weixin_44852067的博客
04-24 6276
1.背景   LightGBM 是微软开发的 boosting 集成模型，和 XGBoost 一样是对 GBDT 的优化和高效实现，原理有一些相似之处，但它很多方面比 XGBoost 有着更为优秀的表现。官方给出的这个工具库模型的优势如下： 更快的训练效率 低内存使用 更高的准确率 支持并行化学习 可处理大规模数据 支持直接使用 category 特征   下图是一组实验数据，LightGBM比XGBoost快将近 101010 倍，内存占用率大约为XGBoost的 1/61/61/6，并且准确率也有提
从学讲透一个强大算法模型，LightGBM ！！
一个不怎么正经的算法工程师的博客~不定期更新一些我所覆盖领域的干货~~~包你满意噢~~
08-08 2246
本文详细介绍了LightGBM的原理、优化技术和应用案例。LightGBM是一种高效的梯度提升决策树框架，具有速度快、内存占用低、准确度高等特点。其核心原理包括加法模型、梯度下降和叶子节点优化，通过Leaf-wise生长策略、直方图优化、GOSS采样和EFB特征捆绑四大关键技术实现性能提升。文章以UCI Adult数据集为例，演示了从数据预处理、EDA分析到模型训练、评估和超参数调优的全流程。实验结果显示，优化后的模型在测试集上准确率达到0.87，AUC为0.92，并通过特征重要性分析识别出关键预测变量。
机器学习： LightGBM模型（优化版）——高效且强大的树形模型
weixin_74268817的博客
11-13 4825
LightGBM 在现实生活中被广泛运用于各种场景，甚至竞赛，因此深入了解 LightGBM 模型是非常有必要的。文章中的各种特殊方法，有兴趣就最好可以深入了解。最后，文章如有错误，欢迎大噶指正！
机器学习模型——LightGBM
行者无疆的博客
08-06 6625
  LightGBM（Light Gradient Boosting Machine）是一个实现GBDT算法的框架，支持高效率的并行训练，并且具有更快的训练速度、更低的内存消耗、更好的准确率、支持分布式可以快速处理海量数据等优点。   GBDT在每一次迭代的时候，都需要遍历整个训练数据多次。如果把整个训练数据装进内存则会限制训练数据的大小；如果不装进内存，反复地读写训练数据又会消耗非常大的时间。因此LightGBM提出的主要目的就是解决GBDT在海量数据时的问题，让GBDT可以更好更快地用于工业实践。 基本
lightgbm算法
11-03
具体讲解lightgbm算法，直方图加速，预排序思想，等等
图解机器学习算法(9) | GBDT模型详解（机器学习通关指南·完结）
ShowMeAI研究中心
03-10 5万+
GBDT是一种迭代的决策树算法，将决策树与集成思想进行了有效的结合。本文讲解GBDT算法的Boosting核心思想、训练过程、优缺点、与随机森林的对比、以及Python代码实现。
斯坦福NLP名课带学详解 | CS224n 第17讲 - 多任务学习(以问答系统为例)（NLP通关指南·完结）
ShowMeAI研究中心
05-09 3601
NLP课程第17讲介绍了问答系统(QA)、多任务学习、自然语言处理的十项全能(decaNLP)、多任务问答系统(MQAN)等。
斯坦福NLP名课带学详解 | CS224n 第13讲 - 基于上下文的表征与NLP预训练模型(ELMo, transformer)（NLP通关指南·完结）
ShowMeAI研究中心
05-07 3781
NLP课程第13讲介绍了词向量 (word representations) 知识回顾、ELMo模型、ULMfit模型、Transformer结构和BERT等。
想要应聘前端工程师——学习路线指南
SmiledrinkCat的博客
04-28 1944
MDN 权威入门指南，HTML / CSS / JavaScript 快速上手。如何激励不同团队一起工作，全力以赴实现一个有挑战性的目标。堪称前端工程师技能精髓，很多前端的性能优化入门书。以初学者视角，重点讲解算法与数据结构的设计思想。编写运行更快的 JavaScript 权威指南。线上教程，很多前端学习 ES6 的起点和字典。进阶版算法与数据结构教程，追踪原理，融会贯通。用轻量级的标记语言快速书写格式优雅的文档。讲解细腻，拓展延伸对 CSS 的认识。进一步学习性能优化，建设指南的进阶版。
【模型】LightGBM
藓类少女的博客
07-30 2038
LightGBM 是一种基于决策树算法的梯度提升框架，专为快速高效的模型训练和预测设计。它由微软开发，并且广泛应用于各种机器学习任务，尤其在结构化数据和分类问题上表现出色。
机器学习（二十九）：LightGBM 模型
全栈川川
09-15 2059
机器学习 LightGBM模型
LightGBM——提升机器算法（图解+理论+安装方法+python代码）
qq_29663489的博客
04-10 1191
转自：https://blog.youkuaiyun.com/huacha__/article/details/81057150 前言 LightGBM是个快速的，分布式的，高性能的基于决策树算法的梯度提升框架。可用于排序，分类，回归以及很多其他的机器学习任务中。 在竞赛题中，我们知道XGBoost算法非常热门，它是一种优秀的拉动框架，但是在使用过程中，其训练耗时很长，内存占用比较大。在2017年年1月...
Light GBM模型
01-17
### LightGBM 模型介绍 LightGBM 是一种基于梯度提升决策树 (GBDT) 的高效机器学习框架，由微软开发并开源。相较于其他 GBDT 实现如 XGBoost，在处理大规模数据集时表现出更高的效率和更好的性能[^2]。 #### 主要特点 - **快速训练**：采用直方图算法加速节点分裂过程；通过 GOSS 和 EFB 技术进一步优化计算资源利用率。 - **低内存消耗**：由于采用了直方图算法来近似最佳分割点的选择方式，使得 LightGBM 能够显著减少所需的存储空间。 - **高精度预测**：支持多种损失函数用于回归、二元分类或多类别分类任务，并且可以通过调整参数获得更加精确的结果。 - **内置交叉验证功能**：方便用户直接调用 API 进行模型评估而不必额外编写代码实现此功能。 - **分布式训练能力**：可以很容易地扩展到集群环境中执行更大规模的数据分析工作。 ### 使用方法 为了安装 Python 版本的 LightGBM 库，可以在命令行输入 `pip install lightgbm` 完成环境配置。下面给出一个简单的例子展示如何构建一个基本的 LightGBM 分类器： ```python import lightgbm as lgb from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score # 加载鸢尾花数据集作为示例 data = load_iris() X, y = data.data, data.target # 划分训练集与测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2) # 创建 Dataset 数据结构供 LighGBM 使用 train_data = lgb.Dataset(X_train, label=y_train) test_data = lgb.Dataset(X_test, label=y_test, reference=train_data) # 设置参数 params = { 'objective': 'multiclass', 'num_class': 3, } # 训练模型 bst = lgb.train(params, train_data, valid_sets=[test_data]) # 预测 y_pred = bst.predict(X_test) predictions = [list(x).index(max(x)) for x in y_pred] # 输出准确率 print('Accuracy:', accuracy_score(y_test, predictions)) ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ShowMeAI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值