【AI深究】单边梯度采样 GOSS（Gradient-based One-Side Sampling）深度解析：原理、算法与工程实践——全网最详细全流程与案例（附Python代码演示）|与EFB的协同

原创 已于 2025-07-04 23:10:20 修改 · 1.2k 阅读 · 21 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #算法 #python #机器学习 #xgboost #lightGBM #GOSS

于 2025-07-04 20:41:01 首次发布

 大家好，我是爱酱。本篇延续我上六篇Boosting (XGBoost, LightGBM, AdaBoost, CatBoost, GBM, Stochastic GBM)，继续去讲解GOSS（Gradient-based One-Side Sampling）的创新核心原理、算法细节、数学表达、优缺点、工程实现与实际意义，帮助你全面理解LightGBM高效训练背后的核心技术。

注：本文章含大量数学算式、详细例子说明及大量代码演示，大量干货，建议先收藏再慢慢观看理解。新频道发展不易，你们的每个赞、收藏跟转发都是我继续分享的动力！

注：XGBoost，LightGBM，AdaBoost，CatBoost，GBM和随机梯度提升（Stochastic GBM）都是集成方法（Ensemble）的Boosting方法，非常经典、常用或新晋，爱酱也有文章深入探讨这两种集成方法的仔细介绍，这里也给上链接。
XGBoost传送门：
【AI深究】XGBoost深度解析：原理、算法与工程实践——全网最详细全流程详解与案例（附详尽Python代码演示）|集成方法核心原理、算法细节、数学表达、工程实现与实际意义|参调技巧与代码示例可视化-优快云博客
LightGBM传送门：
【AI深究】LightGBM深度解析：原理、算法与工程实践——全网最详细全流程详解与案例（附详尽Python代码演示）|集成方法核心原理、算法细节数学表达、工程实现与实际意义|参调技巧与代码示例可视化-优快云博客
AdaBoost传送门：
【AI深究】AdaBoost深度解析：原理、算法与工程实践——全网最详细全流程详解与案例（附Python代码演示）|集成学习算法细节、数学表达、与其他Boosting算法比较|参调技巧与代码示例可视化-优快云博客
CatBoost传送门：
【AI深究】CatBoost深度解析：原理、算法与工程实践——全网最详细全流程详解与案例（附Python代码演示）|集成学习算法细节、数学表达、与其他Boosting算法比较|参调技巧与代码示例可视化-优快云博客
GBM（Gradient Boosting Machine）传送门：

最低0.47元/天 解锁文章
图解LightGBM直方图算法、单边梯度采样算法（GOSS）
Brandonn_Xu的博客
11-15 2255
我近期研究了各种树模型，在理解LightGBM的直方图、GOSS单边梯度采样环节时都有些困难。我在网上找了很多资料，但大部分以文字为主，且非常抽象，理解起来十分困难。因此我想通过画图、画表、举例子的方式，具体解释一下LightGBM的直方图算法和GOSS算法。本文旨在以图表化的方式展现直方图算法和GOSS算法的具体过程，因此不涉及任何数学推导和代码内容。如果有小伙伴对梯度提升树、xgboost、LightGBM的概念还比较陌生，建议先补充相关知识。
详解LightGBM两大降维利器：基于梯度的单边采样（GOSS）和互斥特征捆绑（EFB）
fulk6667g78o8的专栏
03-18 4707
之前比赛和实习用了很多LightGBM（lgb）模型，该模型比XGBoost（xgb）快不少，而且精度也不差。因此，理解清楚lgb模型为何速度快的原理是必要的，对此做个总结，巩固一下基础~首先，可以想到的是我们用lgb模型都是处理结构化数据，而且基本是二维结构化数据，可以理解为类似数据库的库表形式。二维指的就是样本维度 + 特征维度。因此，lgb速度优化的两大算法就是从如何减少这两个维度开始的。即，通过基于梯度的单边采样算法（GOSS）来减少样本维度，通过互斥特征捆绑算法（EFB）来减少特征维度。其实，lg
LightGBM 的优点（相较于XGBoost） + 细节操作 讲解 （二）单边梯度采样 和 互斥特征捆绑
xiao_ling_yun的博客
04-04 1727
LightGBM中单边梯度采样（Gradient-based One-Side Sampling，GOSS） 和互斥特征捆绑Exclusive Feature Bundling (EFB)，算法具体操作与细节
Lightgbm基本原理介绍
热门推荐
Y学习使我快乐V的博客
09-22 8万+
一、 前言 最近在做Kaggle比赛的时候，看到别人的Kenels中都用到了lightgbm，自己也试图用了一下，发现效果很好，最重要的是它相对于XGBoost算法，大大的降低了运行的速度。所以就对Lightgbm的原理探了个究竟，这里就对Lightgbm论文的理解以及对官网上对Lightgbm的介绍做一个学习笔记。 传统的boosting算法（如GBDT和XGBoost）已经有相当好的效率，...
LightGBM原理
weixin_38267719的博客
03-29 1418
Lightgbm解决方法 Lightgbm使用了如下两种解决办法：一是GOSS（Gradient-based One-Side Sampling, 基于梯度的单边采样），不是使用所用的样本点来计算梯度，而是对样本进行采样来计算梯度；二是EFB（Exclusive Feature Bundling， 互斥特征捆绑） ，这里不是使用所有的特征来进行扫描获得最佳的切分点，而是将某些特征进...
【AI深究】互斥特征捆绑 EFB（Exclusive Feature Bundling）深度解析：原理、算法与工程实践——全网最详细流程|与GOSS的协同、例子可视化、调优技巧、与其它特征压缩技术对比
最新发布
AI人工智能爱酱～你的AI学习好帮手～
07-04 891
 大家好，我是爱酱。本篇延续我上六篇Boosting (XGBoost, LightGBM, AdaBoost, CatBoost, GBM, Stochastic GBM)，继续去讲解EFB（Exclusive Feature Bundling，互斥特征捆绑）的创新原理、算法机制、与GOSS的协同关系、数学表达、工程实现与实际意义，帮助你全面理解LightGBM极速训练背后的又一核心技术。 本文章含大量数学算式、详细例子说明及大量代码演示，建议先收藏再慢慢理解。你们的每个赞、收藏跟转发都是我分享的动力！
【AI深究】LightGBM深度解析：原理、算法与工程实践——全网最详细全流程详解与案例（附详尽Python代码演示）|集成方法核心原理、算法细节数学表达、工程实现与实际意义|参调技巧与代码示例可视化
AI人工智能爱酱～你的AI学习好帮手～
07-01 2657
大家好，我是爱酱。本篇延续爱酱上一篇XGBoost的深究专栏，系统的梳理LightGBM（Light Gradient Boosting Machine）的核心原理、算法细节、数学表达、工程实现与实际意义，帮助你全面理解这一高效、强大的Boosting算法。  注：本文章含大量数学算式、详细例子说明及大量代码演示，大量干货，建议先收藏再慢慢观看理解。新频道发展不易，你们的每个赞、收藏跟转发都是我继续分享的动力！
机器学习笔记27——Boosting方法之LightGBM算法原理及python实战
weixin_45666566的博客
11-27 2279
LightGBM算法引言1、LightGBM原理 引言 \quad \quadGBDT (Gradient Boosting Decision Tree) 是机器学习中一个长盛不衰的模型，其主要思想是利用弱分类器（决策树）迭代训练以得到最优模型，该模型具有训练效果好、不易过拟合等优点。GBDT 在工业界应用广泛，通常被用于点击率预测，搜索排序等任务。虽然传统的boosting算法（如GBDT和XGBoost）已经有相当好的效率，但是在如今的大样本和高维度的环境下，传统的boosting似乎在效率和可扩展性上
深入理解LightGBM
小白学视觉
06-09 3357
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达本文主要内容概览：1. LightGBM简介GBDT (Gradient Boosting Decision Tree) 是机器学习中一个长盛不衰的模型，其主要思想是利用弱分类器（决策树）迭代训练以得到最优模型，该模型具有训练效果好、不易过拟合等优点。GBDT不仅在工业界应用广泛，通常被用于多分类、点击...
分类算法——LightGBM 详解
goTsHgo的博客
10-31 6997
梯度提升树（Gradient Boosting Decision Tree, GBDT）是一种基于加法模型和前向分步算法的提升方法。GBDT 通过迭代地构建决策树来优化目标函数，其中每一棵树都拟合上一个模型的残差或负梯度。GBDT 在分类问题中通常使用交叉熵作为目标函数，而在回归问题中使用平方误差损失。LightGBM 通过多项优化使得 GBDT 在性能和效率上有了大幅提升。其基于叶节点的生长策略和直方图算法的创新设计，显著提高了模型的训练速度和精度。
【机器学习】LightGBM 解读 （集成学习_Boosting_GBM）
Danger的博客
05-14 2774
【机器学习】LightGBM 解读 （集成学习_Boosting_GBM）
LightGBM原理介绍
weixin_42330675的博客
03-22 9594
lightgbm算法原理介绍
lightgbm文本分类
qq_21072649的博客
04-13 2430
LightGBM原理 1 单边梯度采样算法（Grandient-based One-Side Sampling，GOSS） LightGBM使用GOSS算法进行训练样本采样的优化。在AdaBoost算法中，采用了增加被错误分类的样本的权重来优化下一次迭代时对哪些样本进行重点训练。然而GBDT算法中没有样本的权重，但是LightGBM采用了基于每个样本的梯度进行训练样本的优化，具有...
机器学习： LightGBM模型（优化版）——高效且强大的树形模型
weixin_74268817的博客
11-13 4833
LightGBM 在现实生活中被广泛运用于各种场景，甚至竞赛，因此深入了解 LightGBM 模型是非常有必要的。文章中的各种特殊方法，有兴趣就最好可以深入了解。最后，文章如有错误，欢迎大噶指正！
树模型系列之LightGBM
召唤师的峡谷
08-20 2493
30分钟学会LightGBM 机器学习算法之LightGBM LightGBM 中文文档 http://datacruiser.io/2019/08/12/DataWhale-Workout-No-8-LightGBM-Summary/ http://datacruiser.io/2019/08/10/DataWhale-Workout-No-8-XGboost-Summary/ 机器学习算法之C...
关于LightGBM算法基本原理概述
积一时之步，臻千里之遥程
10-16 1万+
2017年微软公司提出了LightGBM算法（Light Gradient Boosting Machine），该算法也是基于GBDT算法的改进，，但相较于GBDT、XGBoost算法，LightGBM算法有效地解决了处理海量数据的问题，在实际应用中取得出色的效果。
[机器学习] Boosting算法4 --- LightGBM介绍与分布式
摩登都市天空---专栏
05-29 7539
相比XGBoost有如下优点：。例如，它将连续的特征值分桶(buckets)装进离散的箱子(bins)，这是的训练过程中变得更快。带深度限制的Leaf-wise的叶子生长策略,。LGB避免了对整层节点分裂法，而采用了对增益最大的节点进行深入分解的方法。这样节省了大量分裂节点的资源。更低的内存占用：使用离散的箱子(bins)保存并替换连续值导致更少的内存占用。...
机器学习高级算法梳理四 —— LightGBM
倩mys的博客
05-20 6543
文章目录一、lightGBM简介二、LightGBNM起源三、GOSS（基于梯度的单边采样）四、EFB（互斥特征捆绑）五、histogram VS pre-sorted六、leaf-wise VS level-wise七、特征并行和数据并行八、顺序梯度访问九、支持类别特征十、sklearn参数 一、lightGBM简介 lightGBM包含两个关键点：light即轻量级，GBM 梯度提升机 Li...
轻量梯度提升机算法的单边梯度采样
01-08
### LightGBM 中 GOSS (单边梯度采样) 的实现与原理 #### 原理介绍 GOSS（Gradient-based One-Side Sampling）是一种用于减少训练样本数量的技术，旨在提高模型训练效率而不显著降低性能。通过这种方法，可以有效去除那些对损失函数贡献较小的数据实例，从而加快收敛速度。 具体来说，在每次迭代过程中，GOSS会保留具有较大绝对值梯度的所有数据点，并随机抽取一部分具有较小绝对值梯度的数据点来构建新的训练集[^1]。这种做法能够确保重要的更新不会被忽略的同时减少了不必要的计算开销。 #### 数学表达 假设当前节点有 \( n \) 个样本，则对于这些样本按照其对应的负梯度绝对值大小排序得到序列 \( g_1, g_2,...,g_n \)，其中 \( |g_i| >= |g_{i+1}| \)。接着定义两个参数： - `a` 表示保留大梯度样本的比例； - `b` 是小梯度样本抽样的比例； 那么最终选取的样本数为： \[ N = a*n + b*(n-a*n)\] 这里需要注意的是，虽然只选择了部分样本参与下一轮的学习过程，但是权重会被相应调整以保持统计特性的一致性。 #### Python代码展示 下面是一个简单的Python伪代码片段展示了如何在LightGBM框架内应用GOSS机制: ```python import numpy as np from lightgbm import LGBMClassifier def apply_goss(gradients, top_rate=0.2, other_rate=0.1): """Apply Gradient-Based One Side Sampling.""" # Sort indices by absolute value of gradients in descending order. sorted_indices = np.argsort(-np.abs(gradients)) # Select the largest gradient samples and sample from others. large_grad_idx = sorted_indices[:int(top_rate * len(sorted_indices))] small_grad_idx = np.random.choice( sorted_indices[int(top_rate * len(sorted_indices)):], size=int(other_rate * len(sorted_indices)), replace=False) selected_samples = np.concatenate([large_grad_idx, small_grad_idx]) return selected_samples # Example usage with LightGBM classifier model = LGBMClassifier(boosting_type='goss') model.fit(X_train, y_train) ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值