LGB笔记

最新推荐文章于 2024-08-03 22:53:28 发布
最新推荐文章于 2024-08-03 22:53:28 发布
阅读量371 收藏
点赞数
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43339420/article/details/108713417
版权
本文总结了LightGBM中的优化技术，包括GOSS梯度单边采样减少计算量，EFB特征绑定以处理互斥特征，Hist方法用于候选点选择，以及不使用one-hot编码。此外，探讨了数据并行的实现，如特征并行在XGB和LGBM中的不同策略，如何通过分块存储和通信减少计算量。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

总结

对计算量的减少

  1. 样本数量： GOSS 梯度单边采样
  2. 特征数量： EFB
  3. 特征下的候选点： Hist

1.GOSS

把gi小的点忽略掉
在这里插入图片描述

2. EFB

特征绑定技术： 互斥特征绑定
在这里插入图片描述

3. Hist

在这里插入图片描述

在这里插入图片描述

4. 不用one-hot 编码

在这里插入图片描述
xgb是level-wise，

最低0.47元/天 解锁文章
LightGBM（LGB）
qq_53174708的博客
05-28 1324
转载自littlemichelle LightGBM（Light Gradient Boosting Machine）是一个实现GBDT算法的框架，支持高效率的并行训练，并且具有更快的训练速度、更低的内存消耗、更好的准确率、支持分布式可以快速处理海量数据等优点。 背景 常用的机器学习算法，例如神经网络等算法，都可以以mini-batch的方式训练，训练数据的大小不会受到内存限制。而GBDT在每一次迭代的时候，都需要遍历整个训练数据多次。如果把整个训练数据装进内存则会限制训练数据的大小；如果不装进内存，反复地
gbdt,xgb,lgb总结
cuixuange的博客
06-24 2507
最近学习了gradient boost+Decision Tree的原理；xgboost，lightgbm论文原文。有一些收获，gbdt总结的笔记比较多 就没放上来。主要看下xgb,lgb的时间复杂度 & 部分总结点 1.时间复杂度对比 2.gbdt一阶导数 & xgb二阶导数 3.exact greedy algorihtm(pre-sort) 4.approximately a...
SVM生成数据集
06-14
与我的博客“二分类支持向量机模型SVM知识点详解”对应数据集生成程序
SVM训练数据集
03-19
SVM训练数据集，博客内含附有简单代码实现。
SVM训练数据
03-28
使用OpenCV的svm做的图像分类数据，分类效果很好，在98%以上
机器学习SVM算法训练数据集
05-29
testSetRBF2主要用于人工智能机器学习中的数据训练集使用
基于svm的图像分类数据集
04-17
SVM是用来解决分类问题的，如果解决两个变量的分类问题，可以理解成用一条直线把点给分开，完成分类
机器学习笔记1
aqua111111的博客
08-18 108
机器学习笔记
Datawhale AI夏令营笔记 Task3
最新发布
walkerta的博客
08-03 704
在生物学上，核苷酸链之间一般经过氢键相连，其相连配对的方式为A-T,G-C（另有其他配对方式不讨论），其中因为AT之间仅两个氢键相连，而GC之间有三个氢键相连，因此AT之间的连接不如GC之间紧密，故而AT含量越低的区域，双链的稳定性越差，这种内部的不稳定性通过在mRNA剪切过程中诱导最理想的构象，从而提高了RISC复合体的功能性。但是siRNA与靶mRNA的互补方式的不同意味着沉默机制的不同：siRNA与mRNA的3′非翻译区（UTR）结合，在Ago1、Ago3和Ago4的帮助下会导致翻译抑制；
Datawhale AI 夏令营task02笔记
weixin_55082248的博客
07-16 622
相比基于经验模型的baseline，机器学习模型lightgbm可以达到更好的预测效果。通过特征工程挖掘特征可以很快的提升模型预测效果，这是数据挖掘比赛中的主要优化方向。
libsvm 程序集数据集
04-11
libsvm 数据集 包括 matlab数据集 和 VC数据集
SVM训练和测试数据
12-12
SVM训练和测试数据。主要用于训练和测试自己写的Python版本的SVM，具体见我的博客： http://blog.youkuaiyun.com/zouxy09
svm图像分类数据集.zip
05-31
这是一个博主自己做的数据集，来源于网上，可用于学习博主的一篇svm算法进行图像分类，无侵权行为
支持向量机SVM所使用的数据集
07-29
支持向量机SVM所使用的数据集，包括非线性数据集train_kernel.txt 及test_kernel.txt；train_linear.txt 及test_linearl.txt;train_multi.txt 及test_multil.txt。
svm训练数据
06-13
svm训练用数据来源文件，用来结合sklearn推导多项方程函数。
[Python笔记] 开发中遇到的部分实用小问题
Rinnki's memo
08-12 546
python 部分实用小问题 1.读入列名csv转df后，如何转为可hash的list给别的df当索引用？ 适用于如下场合： 特征工程中初步选取的top特征集存在csv里了，想大批pd.read_csv直接用,但是直接df.values.tolist()的话会报unhashable type ‘list’。这是因为转完的list长成[[‘a’],[‘b’],[‘c’]]，而不是我们所需要的可以直接...
二手车交易价格预测学习笔记 — Task4
12-21
在本篇【二手车交易价格预测学习笔记 - Task4】中，我们关注的是数据挖掘和机器学习在预测二手车交易价格中的应用。这个赛题是“零基础入门数据挖掘 - 二手车交易价格预测”，可以在阿里云天池平台找到相关链接。在...
【人工智能】支持向量机(SVM)算法分析数据集
半山黄油仙的博客
03-20 1054
支持向量机（support vector machines, SVM）和感知器算法一样都是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机。算法的主要思路就是寻找最佳超平面，当从二维扩展到多维空间中时，将两类不同的数据完全正确地划分开就成了一个超平面。为了使这个超平面更具鲁棒性，我们需要去找最佳超平面，这个平面在三维空间内距离需要划分的两个类别的最近的样本最远。
鸢尾花数据集，用于svm分类的数据集，MATLAB和python都可用
01-14
鸢尾花数据集，用于svm分类的数据集，MATLAB和python都可用。其中包括txt格式和data格式，只需要使用libsvm的包就可以调用。
python lgb
10-09
关于 "python lgb"，我猜测你可能在问 LightGBM（LGB）在 Python 中的使用方法。 要在 Python 中使用 LightGBM，首先需要安装 LightGBM 库。可以通过以下命令使用 pip 进行安装： ``` pip install lightgbm ``` ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值