LightGBM

最新推荐文章于 2024-03-27 08:52:35 发布
最新推荐文章于 2024-03-27 08:52:35 发布
阅读量318 收藏 1
点赞数
分类专栏： Machine Learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/kakak_/article/details/106411584
版权

LightGBM

  1. 更快的训练速度和更高的效率： LightGBM使用基于直方图的算法。例如，它将连续的特征值分桶(buckets)装进离散的箱子(bins)，这是的训练过程中变得更快。
  2. 更低的内存占用：使用离散的箱子(bins)保存并替换连续值导致更少的内存占用。
  3. 更高的准确率(相比于其他任何提升算法) : 它通过leaf-wise分裂方法产生比level-wise分裂方法更复杂的树，这就是实现更高准确率的主要因素。然而，它有时候或导致过拟合，但是我们可以通过设置 max-depth 参数来防止过拟合的发生。
  4. 大数据处理能力: 相比于XGBoost，由于它在训练时间上的缩减，它同样能够具有处理大数据的能力。
  5. 支持并行学习

二分类任务

params = {'objective': 'binary', #定义的目标函数
		  'boosting': 'gbdt',
		  'metric': {'binary_logloss', 'auc'},  ##评价函数选择
		  'learning_rate': 0.02,
          'max_depth': -1,
          'num_leaves': 38,   #结果对最终效果影响较大，越大值越好，太大会出现过拟合
          "feature_fraction": 0.9,
          "bagging_freq": 1,
          "bagging_fraction": 0.7,
          "bagging_seed": 11,
          
          "min_sum_hessian_in_leaf": 6,
          'min_data_in_leaf': 50,
          "lambda_l1": 0.1,      #l1正则
          # 'lambda_l2': 0.001,     #l2正则
          
          "verbosity": -1,
          "nthread": 4,    #线程数量，-1表示全部线程，线程越多，运行的速度越快
          "random_state": 2019,   #随机数种子，可以防止每次运行的结果不一致
          # 'device': 'gpu'   #如果安装的事gpu版本的lightgbm,可以加快运算
          }

folds = KFold(n_splits=5, shuffle=True, random_state=2019)
prob_oof = np.zeros((train_x.shape[0], ))
test_pred_prob = np.zeros((test.shape[0], ))

## train and predict
feature_importance_df = pd.DataFrame()
for fold_, (trn_idx, val_idx) in enumerate(folds.split(train)):
    print("fold {}".format(fold_ + 1))
    trn_data = lgb.Dataset(train_x.iloc[trn_idx], label=train_y[trn_idx])
    val_data = lgb.Dataset(train_x.iloc[val_idx], label=train_y[val_idx])


    clf = lgb.train(params,
                    trn_data,
                    num_round,
                    valid_sets=[trn_data, val_data],
                    verbose_eval=20,
                    early_stopping_rounds=60)
    prob_oof[val_idx] = clf.predict(train_x.iloc[val_idx], num_iteration=clf.best_iteration)

    fold_importance_df = pd.DataFrame()
    fold_importance_df["Feature"] = features
    fold_importance_df["importance"] = clf.feature_importance()
    fold_importance_df["fold"] = fold_ + 1
    feature_importance_df = pd.concat([feature_importance_df, fold_importance_df], axis=0)

    test_pred_prob += clf.predict(test[features], num_iteration=clf.best_iteration) / folds.n_splits

threshold = 0.5
for pred in test_pred_prob:
    result = 1 if pred > threshold else 0

回归

params = {'objective': 'regression',
		  'boosting': 'gbdt',
		  'metric': 'mae',
		  'learning_rate': 0.02,
          'max_depth': -1,
          'num_leaves': 38,
          "feature_fraction": 0.9,
          "bagging_freq": 1,
          "bagging_fraction": 0.7,
          "bagging_seed": 11,
          
          "min_sum_hessian_in_leaf": 6,
          'min_data_in_leaf': 50,
          "lambda_l1": 0.1,
          
          "verbosity": -1,
          "nthread": 4,
          "random_state": 2019,
          # 'device': 'gpu'
          }


def mean_absolute_percentage_error(y_true, y_pred):
    return np.mean(np.abs((y_true - y_pred) / (y_true))) * 100

def smape_func(preds, dtrain):
    label = dtrain.get_label().values
    epsilon = 0.1
    summ = np.maximum(0.5 + epsilon, np.abs(label) + np.abs(preds) + epsilon)
    smape = np.mean(np.abs(label - preds) / summ) * 2
    return 'smape', float(smape), False


folds = KFold(n_splits=5, shuffle=True, random_state=2019)
oof = np.zeros(train_x.shape[0])
predictions = np.zeros(test.shape[0])

train_y = np.log1p(train_y) # Data smoothing
feature_importance_df = pd.DataFrame()
for fold_n, (trn_idx, val_idx) in enumerate(folds.split(train_x)):
    print("fold {}".format(fold_n + 1))
    trn_data = lgb.Dataset(train_x.iloc[trn_idx], label=train_y.iloc[trn_idx])
    val_data = lgb.Dataset(train_x.iloc[val_idx], label=train_y.iloc[val_idx])

    clf = lgb.train(params,
                    trn_data,
                    num_round,
                    valid_sets=[trn_data, val_data],
                    verbose_eval=200,
                    early_stopping_rounds=200)
                    
    oof[val_idx] = clf.predict(train_x.iloc[val_idx], num_iteration=clf.best_iteration)

    fold_importance_df = pd.DataFrame()
    fold_importance_df["Feature"] = features
    fold_importance_df["importance"] = clf.feature_importance()
    fold_importance_df["fold"] = fold_ + 1
    feature_importance_df = pd.concat([feature_importance_df, fold_importance_df], axis=0)

    predictions += clf.predict(test, num_iteration=clf.best_iteration) / folds.n_splits

print('mse %.6f' % mean_squared_error(train_y, oof))
print('mae %.6f' % mean_absolute_error(train_y, oof))

result = np.expm1(predictions) #reduction
result = predictions

多分类

params = {'objective': 'multiclass',
		  'num_class': 33,
		  'boosting': 'gbdt',
		  'metric': 'multi_logloss',
		  'learning_rate': 0.02,
          'max_depth': -1,
          'num_leaves': 38,   
          "feature_fraction": 0.9,
          "bagging_freq": 1,
          "bagging_fraction": 0.7,
          "bagging_seed": 11,
          
          "min_sum_hessian_in_leaf": 6,
          'min_data_in_leaf': 50,
          "lambda_l1": 0.1,    
          # 'lambda_l2': 0.001,     
          
          "verbosity": -1,
          "nthread": 4,   
          "random_state": 2019,   
          # 'device': 'gpu'   
          }

folds = KFold(n_splits=5, shuffle=True, random_state=2019)
prob_oof = np.zeros((train_x.shape[0], 33))
test_pred_prob = np.zeros((test.shape[0], 33))

## train and predict
feature_importance_df = pd.DataFrame()
for fold_, (trn_idx, val_idx) in enumerate(folds.split(train)):
    print("fold {}".format(fold_ + 1))
    trn_data = lgb.Dataset(train_x.iloc[trn_idx], label=train_y.iloc[trn_idx])
    val_data = lgb.Dataset(train_x.iloc[val_idx], label=train_y.iloc[val_idx])

    clf = lgb.train(params,
                    trn_data,
                    num_round,
                    valid_sets=[trn_data, val_data],
                    verbose_eval=20,
                    early_stopping_rounds=60)
    prob_oof[val_idx] = clf.predict(train_x.iloc[val_idx], num_iteration=clf.best_iteration)


    fold_importance_df = pd.DataFrame()
    fold_importance_df["Feature"] = features
    fold_importance_df["importance"] = clf.feature_importance()
    fold_importance_df["fold"] = fold_ + 1
    feature_importance_df = pd.concat([feature_importance_df, fold_importance_df], axis=0)

    test_pred_prob += clf.predict(test[features], num_iteration=clf.best_iteration) / folds.n_splits
result = np.argmax(test_pred_prob, axis=1)

特征曲线

import matplotlib.pyplot as plt

def plot_feature_importance(train, model):
    list_feature_name = list(train.columns[1:])
    list_feature_importance = list(model.feature_importance(importance_type='split', iteration=-1))
    dataframe_feature_importance = pd.DataFrame({'feature_name': list_feature_name, 'importance': list_feature_importance})
    
    print(dataframe_feature_importance)
    x = range(len(list_feature_name))
    plt.xticks(x, list_feature_name, rotation=45, fontsize=10)
    plt.plot(x, list_feature_importance)

    plt.show()

在这里插入图片描述
在这里插入图片描述

LightGBM——提升机器算法（图解+理论+安装方法+python代码）
huacha__的博客
08-04 10万+
前言 LightGBM是个快速的，分布式的，高性能的基于决策树算法的梯度提升框架。可用于排序，分类，回归以及很多其他的机器学习任务中。 在竞赛题中，我们知道XGBoost算法非常热门，它是一种优秀的拉动框架，但是在使用过程中，其训练耗时很长，内存占用比较大。在2017年年1月微软在GitHub的上开源了一个新的升压工具--LightGBM。在不降低准确率的前提下，速度提升了10倍左右，占用内存...
LightGBM算法
ymengm的博客
08-09 636
LightGBM算法基础介绍
lightgbm算法
11-03
具体讲解lightgbm算法，直方图加速，预排序思想，等等
LightGBM-MATLAB.rar_foundyt4_lightGBM_matlab lightgbm_termeaa_轻量
07-15
LightGBM是一款高效、分布式、优化的梯度提升框架，主要设计用于解决大规模机器学习问题。它是由微软亚洲研究院开发的，特别强调速度、高效内存使用以及优良的预测性能。在MATLAB环境中集成LightGBM，可以使得数据...
GA-LightGBM遗传算法优化LightGBM分类预测，优化前后对比（Matlab完整源码和数据）
08-17
1.Matlab实现GA-LightGBM遗传算法优化LightGBM分类预测,优化前后对比，Matlab调用Python的LightGBM库（完整源码和数据）。 2.输出对比图、混淆矩阵图、预测准确率，运行环境Matlab2023及以上，配置Python的LightGBM...
lightGBM的C++推理和调用
01-17
《lightGBM的C++推理和调用详解》 LightGBM是一款高效的梯度提升决策树（Gradient Boosting Decision Tree, GBDT）框架，它以其高效、灵活和可扩展的特性，在机器学习领域广受青睐。特别是对于大规模数据集，Light...
ungil/LightGBM-MATLAB:LightGBM 的 MATLAB 包装器-matlab开发
05-29
LightGBM是一款高效、分布式、优化的梯度提升框架，由微软亚洲研究院开发，主要用于机器学习中的排名和分类任务。它的主要特点是采用直方图算法，显著减少了内存使用和计算时间，同时保持了模型的准确性。MATLAB是...
lightgbm算法原理.pptx
05-14
LightGBM 算法原理 LightGBM 是一种高效的梯度升级框架，基于 Histogram 的决策树算法，具有高效的训练速度和低内存占用。下面是 LightGBM 算法原理的详细介绍： 1. LightGBM 前述 LightGBM 是一种基于 GBDT 的...
LightGBM:基于决策树算法的快速，分布式，高性能梯度提升（GBT，GBDT，GBRT，GBM或MART）框架，用于排名，分类和许多其他机器学习任务
05-10
轻梯度升压机 LightGBM是使用基于树的学习算法的梯度增强框架。 它被设计为分布式且高效的，具有以下优点： 更快的训练速度和更高的效率。 降低内存使用率。 更好的准确性。 支持并行，分布式和GPU学习。 能够处理大规模数据。 有关更多详细信息，请参阅。 受益于这些优势，LightGBM被广泛用于许多机器学习竞赛的中。 在公共数据集上进行的表明，LightGBM可以在效率和准确性上均优于现有的Boosting框架，并且显着降低了内存消耗。 此外， 表明，LightGBM通过使用多台机器进行特定设置的训练可以实现线性加速。 入门和文档 我们的主要文档位于并从此存储库生成。 如果您不熟悉LightGBM，请按照站点上进行。 接下来，您可能需要阅读： 显示了常见任务的命令行用法。 LightGBM支持的和算法。 是您可以进行的自定义的详尽列表。 和可以加快计算速度。
开源|LightGBM：三天内收获GitHub 1000+ 星
未语愁眸
01-10 3418
原创 2017-01-05 LightGBM 微软研究院AI头条 【导读】不久前微软DMTK(分布式机器学习工具包)团队在GitHub上开源了性能超越其他boosting工具的LightGBM，在三天之内GitHub上被star了1000+次，fork了200+次。知乎上有近千人关注“如何看待微软开源的LightGBM？”问题，被评价为“速度惊
机器学习——LightGBM算法
weixin_39753819的博客
03-27 1930
LightGBM是一种基于梯度提升框架的机器学习算法，由微软团队开发。相比于传统的梯度提升决策树（GBDT）算法，LightGBM具有更高的训练效率和更低的内存消耗，尤其适用于大规模数据集。LightGBM的目标函数包括损失函数和正则项，通过梯度提升算法来优化目标函数，求得最优的模型参数。
机器学习:lightGBM算法
读万卷书 行万里路
07-11 6893
lightGBM的sklearn接口： lightGBM分类： 主要参数如下： boosting_type:‘gbdt’(传统的GBDT模型)、‘dart’、‘goss’、‘rf’(随机森林) dart: Dropouts meet Multiple Additive Regression Trees. 在每棵树的迭代过程中不再单单去拟合前一棵树的残差，而是从前面已有的树中采样一部分树，组合成一个新的树，然后去拟合这部分的残差，从而使后面的树贡献变大一些。 goss：Gradient-based One
机器学习算法之LightGBM
kwame211的博客
02-25 5869
这篇文章我们继续学习一下GBDT模型的另一个进化版本：LightGBM。LigthGBM是boosting集合模型中的新进成员，由微软提供，它和XGBoost一样是对GBDT的高效实现，原理上它和GBDT及XGBoost类似，都采用损失函数的负梯度作为当前决策树的残差近似值，去拟合新的决策树。 LightGBM在很多方面会比XGBoost表现的更为优秀。它有以下优势： 更快的训练效率 低内存...
机器学习（七）——LightGBM算法
热门推荐
快乐星球小怪兽的博客
04-28 1万+
LightGBM算法1 算法原理2 代码实践 1 算法原理 2 代码实践
LightGBM算法概述
boombung的博客
05-07 1643
本文为本人另两篇博客机器学习/计算机视觉(cv)实习面试资料整理（附字节、阿里、腾讯、美团面经）、机器学习知识点整理以及集成树知识点概括下的子内容，有需要的朋友按需自取~ 另：本文只是知识点的整理概括，更为详细的可以参考我每个部分给出的链接~ 目录概述LightGBM 优化直方图带深度限制的 Leaf-wise 的叶子生长策略直方图加速直接支持类别特征LightGBM并行优化LightGBM和XGBoost区别 详细介绍参考LightGBM算法总结 概述 LightGBM（Light Gradient B
LightGBM算法详解
杨森彬
08-10 1万+
【目录】 1 LightGBM算法整体思路 2 本质区别：每轮迭代拟合残差树时增益公式(即分裂准则)推导 3 拟合该轮残差树前，用GOSS算法筛选样本 4 拟合该轮残差树前，用EFB算法减少特征量 <1> 如何发现互斥特征对； <2> 如何把互斥特征对捆绑。 5 残差树的拟合过程 <1>每个节点分裂前做出该节点各个特征的直方图 <2>通过直方图，把相应的取值带入增益公式，计算出各个特征以每种不同取值范围划分的增益。按leaf-wise的思路找出所有叶节点中增益最大的分割点为最优分割点，将该最优分割点对应的
lightGBM
最新发布
03-23
### LightGBM 使用教程 LightGBM 是一种高效的梯度提升框架，具有快速训练速度、较低内存消耗和高精度的特点[^4]。以下是关于其安装指南、使用方法以及参数调优的具体说明。 #### 安装指南 要安装 LightGBM，可以通过 Python 的 pip 工具完成。运行以下命令即可安装最新版本： ```bash pip install lightgbm ``` 如果需要 GPU 支持，则需额外配置 NVIDIA CUDA 和其他依赖项。具体可参考官方文档中的详细步骤[^1]。 --- #### 基本使用方法 在实际应用中，通常会通过 `lightgbm.LGBMClassifier` 或 `lightgbm.LGBMRegressor` 来构建分类器或回归模型。下面是一个简单的例子展示如何创建并训练一个二分类模型： ```python import lightgbm as lgb from sklearn.datasets import load_breast_cancer from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score # 加载数据集 data = load_breast_cancer() X_train, X_test, y_train, y_test = train_test_split(data.data, data.target, test_size=0.2) # 创建LGBMClassifier实例 model = lgb.LGBMClassifier( boosting_type='gbdt', num_leaves=31, max_depth=-1, learning_rate=0.1, n_estimators=100 ) # 训练模型 model.fit(X_train, y_train) # 预测测试集 y_pred = model.predict(X_test) accuracy = accuracy_score(y_test, y_pred) print(f'Accuracy: {accuracy:.4f}') ``` 上述代码展示了如何加载数据、定义模型超参数并通过 `.fit()` 方法进行训练[^2]。 --- #### 参数调优 为了获得更好的性能表现，在实际项目中往往需要调整多个重要参数。这些参数大致分为几大类别：核心参数、学习控制参数、度量参数等。 ##### 核心参数 (Core Parameters) - **num_leaves**: 控制每棵树的最大叶子数量，默认值为 31。增大此数值可能会提高拟合能力但也容易过拟合。 - **max_depth**: 设置树的最大深度，当指定该选项时优先级高于 `num_leaves`。 ##### 学习控制参数 (Learning Control Parameters) - **learning_rate**: 决定每次迭代的学习步长，较小的值有助于减少过拟合风险但可能延长收敛时间。 - **n_estimators**: 表示总共生成多少棵决策树，一般建议结合交叉验证来寻找最佳值。 ##### 度量参数 (Metric Parameters) - **objective**: 指定目标函数类型，比如 `'binary'` 对应于二元分类问题；`'regression'` 则用于连续变量预测。 - **metric**: 设定评估指标名称，例如 AUC 曲线下面积 (`auc`) 或均方误差 (`l2`)。 更多高级技巧涉及正则化项调节（如 lambda_l1/l2）、特征分数权重分配等方面。 --- ### 总结 通过对 LightGBM 不同类型的参数合理设定与优化，能够显著改善机器学习任务的效果。同时借助内置 API 及第三方库支持，使得整个流程更加便捷高效[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值