LGB ： 关于调参的一些说明

最新推荐文章于 2025-07-11 16:28:34 发布
最新推荐文章于 2025-07-11 16:28:34 发布
阅读量6.9k 收藏 28
点赞数 2
分类专栏： 机器学习项目
本文探讨了针对过拟合问题的模型调参策略，包括调整num_leaves、max_depth、learning_rate等参数以提高预测准确性，以及通过数据抽样、正则化等手段降低过拟合风险。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

原文链接?

调参核心

  • 调参1：提高准确率"：num_leaves, max_depth, learning_rate
  • 调参2：降低过拟合 max_bin min_data_in_leaf
  • 调参3：降低过拟合 正则化L1, L2
  • 调参4：降低过拟合 数据抽样 列抽样

调参方向：处理过拟合（过拟合和准确率往往相反）

  • 使用较小的 max_bin

  • 使用较小的 num_leaves

  • 使用 min_data_in_leaf 和 min_sum_hessian_in_leaf

  • 通过设置 bagging_fraction 和 bagging_freq 来使用 bagging

  • 通过设置 feature_fraction <1来使用特征抽样

  • 使用更大的训练数据

  • 使用 lambda_l1, lambda_l2 和 min_gain_to_split 来使用正则

  • 尝试 max_depth 来避免生成过深的树

调参范围

【最全】神奇的Optuna调参库介绍
阿黎逸阳的博客
10-13 627
一文弄懂optuna调参
LGBM调参方法学习
qq_34782535的博客
04-30 2万+
一、了解LGBM参数： LGBM是微软发布的轻量梯度提升机，最主要的特点是快，回归和分类树模型。使用LGBM首先需要查看其参数含义： 微软官方github上的说明： https://github.com/Microsoft/LightGBM/blob/master/docs/Parameters.rst#early_stopping_round LGBM中文手册： http://lightgbm....
【模型调参】Lgb调参方法
Novelin的博客
03-03 3051
lgb 模型调参 以回归为例子 可以试试贝叶斯调参
lgb调参
weixin_44414593的博客
08-13 3250
以lgb.LGBMRegressor为例 model_lgb = lgb.LGBMRegressor(objective='regression', max_depth = 3, learning_rate=0.1, n_estimators=3938, metric='rmse', bagging_fraction = 0.8,
sklearn简单学习
最新发布
Awesome_py的博客
07-11 404
Scikit-learn是一个功能强大的机器学习库，主要分为六大模块：分类、回归、聚类、降维、模型选择和数据预处理。其详细文档包含12个核心部分，涵盖监督/无监督学习、模型评估、可视化、数据预处理等功能。API模块按功能分类提供评估器和工具，如线性模型、集成学习、聚类算法等。常用功能包括数据集读取（如鸢尾花数据集）和生成，支持多种数据格式和处理方法。总体而言，Scikit-learn提供了从数据加载到模型训练、评估和部署的完整解决方案。
lgb自动调参
Coder的博客
06-02 612
原文链接
机器学习_LGB调参汇总（开箱即食）
RL小站
08-08 3716
在数据层面的一些正负采样，业务层面一些数据筛选，以及异常值的处理后。我们进行模型训练，同时需要对模型进行参数的调整，以提升模型的精度。笔者就一些现有的调参框架进行汇总。
lightGBM 调参
weixin_44953928的博客
03-11 7150
文章目录1. 概述1.lgb.cv函数使用方法(1)参数(2)param需要填写的参数2.GridSearchCV调参第一步：学习率和迭代次数第二步：确定max_depth和num_leave第三步：确定min_data_in_leaf和max_bin in第四步：确定feature_fraction、bagging_fraction、bagging_freq第五步：确定lambda_l1和lambda_l2第六步：确定 min_split_gain第七步：降低学习率，增加迭代次数，验证模型3.LightG
LightGBM原理和调参
一蓑烟雨任平生
01-10 1858
在进行调参之前应该做好特征工程，确定特征后，更加数据规模和几个模型尝试的结果初步敲定这几个参数，然后使用或来调整max_depthnum_leavessubsamplereg_alphareg_lambda。其中重点要调节max_depth和num_leaves，并注意两者的关系，其次subsample和在[0-1000]之间去进行粗略的调整下即可，reg_alpha和reg_lambda在[0,1000]范围调整，最后比较好的模型这两个参数值不应过大，尤其是reg_alpha，过大需要查看特征。
gbm包高级应用：调参策略与模型优化
[gbm包高级应用：调参策略与模型优化](http://www.kwangsiklee.com/wp-content/uploads/direct/machine_learning/gbm_0600.png) # 1. GBM算法原理与特性 梯度提升机（Gradient Boosting Machine, GBM）是机器学习中...
贝叶斯优化调参实战（随机森林，lgbm波士顿房价）
三年研究生能改变多少
01-21 1万+
本文名字叫做贝叶斯优化实战~~就说明我不会在这里讲它的理论知识。因为我还没看懂。。。 不过用起来是真的舒服，真是好用的不行呢~ 开始本文之前，我先说一下我目前用到的调参的手段。 1.网格搜索与随机搜索： 图来自：https://www.cnblogs.com/marsggbo/p/9866764.html 我们都知道神经网络训练是由许多超参数决定的，例如网络深度，学习率，卷积核大小等等。所以为了找...
ijcai-18-top2-single-mole-solution:复赛第二名单模型方案，没有特征选择没有调参LGB单模型857个特征
05-08
IJCAI-18 阿里妈妈搜索广告转化预测亚军解决方案 -1 赛题介绍 -2 数据下载 初赛数据链接：https://share.weiyun.com/56y91Fx 密码：89kry5 复赛数据链接：https://share.weiyun.com/5HRPNUU 密码：qrs04d -3 file文件中包含 特征重要性，特征群线下测试结果，比赛攻略，答辩ppt -4 代码讲解
lgb使用方法与调参
weixin_44414593的博客
07-19 5633
本文参考了lgb中文文档，和lgb调参笔记。 import lightgbm as lgb lgb参数 *type 1 不需要调试的参数 * boosting_type 1.gbdt 2.rf objective 1.regression 回归 2.binary 二分类（01） 3.multiclass 多分类（需要设置num_class） num_class 多分类的类别数 early_stopping_round 多少轮学习后无优化，则停止。 data 训练数据 valid验证数据 lgb_train
lightgbm自动调参
weixin_44245188的博客
12-28 1202
利用 suggested 参数值和评估的目标值的记录，采样器基本上不断缩小搜索空间，直到找到一个最佳的搜索空间，其产生的参数会带来更好的目标函数值。自动在训练的早期（也就是自动化的 early-stopping）终止无望的 trial。X_train = df_train.drop(‘度’, axis=1)使用optuna自动调参框架对lgb的超参进行优化。y_train = df_train[‘度’]保存超参数调优记录，加在study调参完成之后。输出最优参数，使用最优参数进行调参。
【模型调参】lgb的参数调节
wwqnmdhmp的博客
08-13 3421
Table of Contents 1  数据导入2  模型挑选3  模型调参3.1  设立初始参数3.2  调解n_estimators3.3  max_depth/num_leaves3.4  min_child_samples/min_child_weight3.5  subsample/colsample_bytree（0.6,1）3.6&n
使用贝叶斯方法自动调参，lgb版本
yigeng3663的博客
04-17 1537
import pandas as pd import numpy as np from sklearn.model_selection import StratifiedKFold from scipy.stats import rankdata import lightgbm as lgb from sklearn import metrics import gc from sklearn.m...
LightGBM调参笔记
热门推荐
浅笑古今的博客
11-05 6万+
1. 概述 在竞赛题中，我们知道XGBoost算法非常热门，是很多的比赛的大杀器，但是在使用过程中，其训练耗时很长，内存占用比较大。在2017年年1月微软在GitHub的上开源了LightGBM。该算法在不降低准确率的前提下，速度提升了10倍左右，占用内存下降了3倍左右。LightGBM是个快速的，分布式的，高性能的基于决策树算法的梯度提升算法。可用于排序，分类，回归以及很多其他的机器学习任务中...
企业隐患排查文本挖掘比赛（三）：LGB文本分类(调参+阈值搜索)
简之的通向技术之路
07-04 2493
1、数据集 经过前两部分的处理，我们可以得到参与建模的变量，统计类特征的处理包括在mainProcess中，bert构建的特征包括在get_bert_features中，数据预处理如下： import warnings warnings.simplefilter('ignore') import re import gc import pickle import numpy as np import pandas as pd pd.set_option('max_columns', None) pd.se
数据挖掘小白系列!LightGBM详解与调参
qq_35679701的博客
07-09 5139
LightGBM调参指导 针对leaf-wise树的参数优化： num_leaves：控制了叶节点的数目。它是控制树模型复杂度的主要参数。 如果是level-wise，则该参数为2depth2depth，其中depth为树的深度。但是当叶子数量相同时，leaf-wise的树要远远深过level-wise树，非常容易导致过拟合。因此应该让num_leaves小于2depth2depth。在leaf-wise树中，并不存在depth的概念。因为不存在一个从leaves到depth的合理映射。 ...
lightgbm模型调参关注哪些参数
03-20
### LightGBM 模型调参的关键参数及其最佳实践 在构建基于 LightGBM 的机器学习模型时，合理调整超参数可以显著提升模型性能。以下是几个关键的调参参数以及其作用说明： #### 1. **树结构相关参数** - `num_leaves`: 控制单棵树的最大叶子数。较大的值会提高模型复杂度并可能导致过拟合。通常建议将其设置为不超过总数据样本数的一定比例[^4]。 - `max_depth`: 设置树的最大深度，默认情况下不受限。如果发现模型容易过拟合，可以通过限制最大深度来缓解这一问题。 #### 2. **学习率与迭代次数** - `learning_rate` (或 eta): 学习速率决定了每次更新步长大小。较低的学习率配合更多的迭代次数 (`n_estimators`) 可以带来更好的泛化能力，但也增加了训练时间[^1]。 #### 3. **正则化参数** 为了防止过拟合，引入了两种类型的 L2 正则项： - `lambda_l1`, `lambda_l2`: 分别对应L1 和 L2 正则化强度。适当增大这两个数值有助于降低模型复杂度，从而改善测试集上的表现[^3]。 #### 4. **特征分数计算方式** - `feature_fraction`: 随机选取部分特征参与分裂决策的比例。类似于随机森林中的特性采样机制，能够有效减少过拟合并加速收敛过程。 - `bagging_fraction`: 类似于子样本抽取比率的概念，允许我们仅利用一部分训练实例来进行每轮Boosting操作。需要注意的是启用此选项需同时开启`bagging_freq`. #### 5. **类别变量处理** 当存在分类属性时，无需像传统方法那样先做One-Hot Encoding转换再喂给算法，因为LightGBM内部已经针对这类字段做了专门优化——即many-vs-many策略划分节点[^2]. 这不仅节省内存开销而且提高了效率. #### 示例代码 下面给出一段简单的Python脚本展示如何应用上述提到的一些重要参数: ```python import lightgbm as lgb params = { 'boosting_type': 'gbdt', 'objective': 'binary', 'metric': {'auc'}, 'num_leaves': 31, 'learning_rate': 0.05, 'feature_fraction': 0.9, # 特征抽样比例 'bagging_fraction': 0.8, # 数据行抽样比例 'bagging_freq': 5, # k次迭代执行一次bagging 'verbose': 0, 'lambda_l1': 0.1, # L1正则化系数 'lambda_l2': 0.1 # L2正则化系数 } train_data = lgb.Dataset(X_train, label=y_train) test_data = lgb.Dataset(X_test, label=y_test) model = lgb.train(params, train_data, valid_sets=[test_data], num_boost_round=1000, early_stopping_rounds=100) ``` ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值