04. BI - LightGBM vs CatBoost，具体实现分析

已于 2024-01-10 15:17:55 修改
阅读量985 收藏 18
点赞数 16
CC 4.0 BY-SA版权
分类专栏： 茶桁的AI秘籍#BI 茶桁的 AI 会员专栏 文章标签： 人工智能 BI
于 2024-01-10 15:14:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ivandoo/article/details/135504288

本文专辑： 茶桁的 AI 秘籍 - BI 篇

茶桁的AI秘籍 核心BI 04

文章目录


Hi，你好。我是茶桁。

那今天我们是来讲解另外两个Boosting的工具，首先是微软出品的LightGBM。

LightGBM

LightGBM 是微软提出来的, 是属于XGBoost的升级版，也曾经是Kaggle里面使用模型最多的机器学习的神器。当然，目前LightGBM 之外，BERT以及GPT都越来越受关注，但是LightGBM 这么久了，依然还是占据一席之地，依然还是某些性质及任务要求下的首选。

Light的概念就是轻和快，GBM 全称为 Gradient Boosting Machine，这个

了解本专栏 订阅专栏 解锁全文 超级会员免费看
01. BI - Project one, 员工离职预测
茶桁专栏
12-31 947
接下来的课程里，我给大家讲解一下机器学习的预测神器。就是XGBoost，LightGBM以及CatBoost这样的一些方法。这个方法在后续的机器学习工作中会经常使用到。不光是在工作中使用，如果你打一些比赛，也是一个必知必会的模型。
03. BI - 详解机器学习神器 XGBoost
茶桁专栏
01-07 1354
这些机器学习的神器都跟集成学习相关，先给大家看一个概念叫集成学习。集成学习就是把多个分类器合到一起，可以把它理解成叫三个臭**裨将**顶个诸葛亮。
Boosting三巨头：XGBoost、LightGBM和CatBoost（发展、原理、区别和联系，附代码和案例）
WeLearnNLP
03-09 7447
机器学习中，提高模型精度是研究的重点之一，而模型融合技术中，Boosting算法是一种常用的方法。在Boosting算法中，XGBoost、LightGBM和CatBoost是三个最为流行的框架。它们在实际使用中有各自的优势和适用场景，下面将会介绍它们的区别与联系。
lightgbm对比xgboost
qq_33761777的博客
10-19 144
lightgbm详解了直方图算法 xgboost和lightgbm对比的总结 直方图算法有图解
30分钟学会CatBoost
Python_Ai_Road的博客
01-23 8540
一，CatBoost简介 CatBoost和XGBoost、LightGBM并称为GBDT的三大主流神器，都是在GBDT算法框架下的一种改进实现。正如其名字所说那样，CatBoost主要是...
从结构到性能，一文概述XGBoost、Light GBM和CatBoost的同与不同
林夕
06-17 5694
尽管近年来神经网络复兴并大为流行，但是 boosting 算法在训练样本量有限、所需训练时间较短、 缺乏调参知识等场景依然有其不可或缺的优势。本文从算法结构差异、每个算法的分类变量时的处理、 算法在数据集上的实现等多个方面对 3 种代表性的 boosting 算法 CatBoost、Light GBM 和 XGBoost 进行了对比；虽然本文结论依据于特定的数据集，但通常...
XGBoost、LightGBM与CatBoost算法对比与调参
weixin_37737254的博客
04-05 4497
机器学习Author：louwillMachine Learning Lab 虽然现在深度学习大行其道，但以XGBoost、LightGBM和CatBoost为代表的Boostin...
XGBoost在零售领域的应用案例
AI天才研究院
04-06 1256
零售行业一直是大数据和机器学习应用最为广泛的领域之一。随着消费者行为数据的不断积累,零售企业迫切需要利用先进的机器学习算法来挖掘数据价值,提高运营效率和决策质量。其中,XGBoost作为近年来广受关注的一种高性能梯度提升决策树算法,在各类机器学习竞赛和实际应用中屡创佳绩,备受零售行业的青睐。本文将从XGBoost的核心概念出发,详细介绍其在零售领域的典型应用案例,包括商品销量预测、客户流失预测、欺诈交易检测等,阐述相关的算法原理、数学模型、具体实现以及最佳实践,希望对从事零售大数据分析的从业者有所帮助。
08. BI - 万字长文，银行如何做贷款违约的预测，特征处理及学习
茶桁专栏
01-28 1178
那我们之前的课程里，带来了 Fintech 的应用场景，同时又对其中一个量化交易的场景做了一个简单实验。今天，咱们来另一个 Fintech 的场景，同样也是有数据，这个数据是来自于一场比赛。
【机器学习课堂】树模型之XGBoost、LightGBM、CatBoost对比
do_you_ac_today的博客
12-01 3621
文 | Jin.Zhang 来自数据算法（gh_e67de4d10fad） 0. 前言 虽然近年深度学习的使用越来越广泛，但是在小数据集上树模型表现往往会更加优秀，也是中小规模数据集上首选使用的模型。理论上使用树模型可以对特征空间进行无限划分，同时可以加入反映树复杂度的正则项、剪枝策略等防止过拟合，因此通过参数调整权衡方差与偏差，可以得到较优的精度。 单一的树模型不太常用，提度提升树GBDT是一种精度更高的基于树的组合模型。XGBoost在GBDT的基础上，对目标函数增加了二...
机器学习通用代码（XGboost、LightGBM、Catboost）
02-12
机器学习算法XGboost、LightGBM、Catboost的代码架构，满足基本的数据分析，回归、二分类、多分类。
XGBoost、LightGBM、Catboost对比
01-06
本文主要参考Battle of the Boosting Algos: LGB, XGB, Catboost，结果与原文有出入。 文章目录1. 对比标准1.1 数据集1.2 规则1.3 版本2. 结果2.1 准确率2.2 训练时间和预测时间2.3 可解释性2.3.1 特征重要性2.3.2 SHAP值2.3.3 可视化二叉树3. 总结4. 代码参考文献 1. 对比标准 1.1 数据集 分类：Fashion MNIST（60000条数据784个特征） 回归：NYC Taxi fares（60000条数据7个特征） 大规模数据集：NYC Taxi fares（2百万条数据7个特征） PS：本文只进行
模型融合方法
weixin_40347266的博客
09-05 1260
融合对象 融合对象，是不同的个体学习器 (Individual Leaner)。 对于个体学习器来说，它们的不同体现在： 不同训练数据：数据集使用比例、预处理方法 (缺失值填补、特征工程等)； 不同模型结构：RF、XGBoost、LightGBM、CatBoost、CNN、LSTM等； 不同超参：随机种子数、权重初始化、收敛相关参数 (例如学习率、batch size、epoch、早停步数)、损失函数、子采样比例等。 融合方法 1.投票法 适用于分类任务，对多个学习器的预测结果进行投票，即少数服从多数。
决策树与随机森林
格拉迪沃的博客
04-27 799
决策树与随机森林概述从LR到决策树决策树决策树的总体流程划分选择信息增益信息增率基尼指数三者对比从决策树到随机森林项目作业感悟 概述 决策树、随机森林是常用的机器学习方法，其中树模型作为现在主流框架xgboost与lightgdb的基本组成，有着非常重要的地位，本人通过学习七月在线小阳老师的课程以及查阅相关资料，将学习笔记和感悟记录下来。 从LR到决策树 这里小阳老师举了一个非常形象的例子，是否去...
LightGBM——提升机器算法（图解+理论+安装方法+python代码）
热门推荐
huacha__的博客
08-04 10万+
前言 LightGBM是个快速的，分布式的，高性能的基于决策树算法的梯度提升框架。可用于排序，分类，回归以及很多其他的机器学习任务中。 在竞赛题中，我们知道XGBoost算法非常热门，它是一种优秀的拉动框架，但是在使用过程中，其训练耗时很长，内存占用比较大。在2017年年1月微软在GitHub的上开源了一个新的升压工具--LightGBM。在不降低准确率的前提下，速度提升了10倍左右，占用内存...
Catboost学习笔记
weixin_34347651的博客
09-18 1576
CatBoost 教程来自 www.youtube.com/watch?v=8o0… 一般来说，GB方法适用于异质化数据。即，若你的数据集全由图片数据构成或者全由视频数据构成之类的，我们称其为同质化数据，这时使用神经网络往往会有更好的表现。但对于异质化数据，比如说数据集中有user gender，user age，也有content data等等的情况，GB方法的表现往往更好。GB方法比神经网络的...
LightGBM的理解和复习
weixin_42944192的博客
10-09 1174
LightGBM 1、直方图算法 为了减少内存占用和split finding所需的时间 连续的浮点数特征值 => 离散化K个整数（默认bins是256，1个字节能表示的数字长度） 遍历数据时，根据离散化后的值作为横轴索引，计算每个值的统计量（一阶和二阶梯度之和+样本计数) 遍历所有bin，分别以当前bin作为分割点，计算出增益，在遍历过程中取最大的增益，以此时的特征和bin...
Lightgbm基本原理
wstcjf的博客
08-16 1462
仅供参考： 背景：XGBoost一个瓶颈是针对每个特征，它需要对每一个可能的分裂点扫描全部的样本来进行计算基尼系数，这是非常的耗时的。 Lightgbm的主要特点： 1.Lightfbm使用直方图算法在牺牲一定精度的条件下换取计算速度的提升和内存消耗的降低。使用了如下的两种方法： Gradient-based One-Side Sampling(GOSS)：首先根据样本梯度进行排序，选择...
[RAG] 文档格式化 | 知识库摄入 | VectorDB.faiss | BM25索引.pkl
最新发布
一个人知道自己为什么而活，他就能够接收任何一种生活
07-17 890
向量数据库擅长"含义"搜索，但有时我们只需要快速查找`精确关键词`。这时**==BM25索引==**就派上用场。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

茶桁

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值