sklearn与XGBoost#03

最新推荐文章于 2025-11-30 21:17:09 发布
原创 最新推荐文章于 2025-11-30 21:17:09 发布 · 596 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#sklearn #机器学习 #python

针对XGBoost模型的过拟合问题，本文介绍了通过剪枝决策树以降低模型复杂度的方法，并探讨了专用于剪枝的参数设置。

XGBoost应用中的其他问题

过拟合：剪枝参数与回归模型调参

作为天生过拟合的模型，XGBoost应用的核心之一就是减轻过拟合带来的影响。作为树模型，减轻过拟合的方式主要 是靠对决策树剪枝来降低模型的复杂度，以求降低方差。在之前的讲解中，我们已经学习了好几个可以用来防止过拟 合的参数，包括上一节提到的复杂度控制 ，正则化的两个参数 和 ，控制迭代速度的参数 以及管理每次迭代前进行的随机有放回抽样的参数subsample。所有的这些参数都可以用来减轻过拟合。但除此之外，我们还有几个影响重 大的，专用于剪枝的参数：
在这里插入图片描述

Lin2108
关注
sklearn与XGBoost库xgboost算法参数总结
帅泽泽的博客
12-27 4704
1 sklearn与XGBoost 1.2 xgboost库与XGB的sklearn API 1.3 XGBoost的三大板块 2 梯度提升树 2.1 提升集成算法：重要参数n_estimators 2.2 有放回随机抽样：重要参数subsample 2.3 迭代决策树：重要参数eta 3 XGBoost的智慧 3.1 选择弱评估器：重要参数booster 3.2 XGB的目标函数：重要参数objective 3.3 求解XGB的目标函数 3.4 参数化决策树 ：参数alpha， lambda 3.5 寻
机器学习sklearn-xgboost
yzy_1117的博客
11-13 1782
集成算法 多个弱评估器，汇总所有弱评估器的建模结果，以获取比单个模型更好的回归或分类表现。 提升算法 Adaboost和梯度提升树 XGBoost背后也是CART树，所有树都是二叉的 对于梯度提升回归树来说，每个样本的预测结果可以表示为所有树上的结果的加权求和。每次迭代过程都加一棵树 XGB每个叶子节点上会有一个预测分数，也被称为叶子权重，叶子权重就是所有在这个叶子节点上的样本在这一棵树上的回归取值 参数n_estimators 默认100 训练中是否打印每次训练的结果 silent 监控模型.
sklearn与XGBoost#01
Lin2108的博客
01-09 956
文章目录概述xgboost库与XGB的sklearn API 概述 xgboost库与XGB的sklearn API 有两种方式可以来使用我们的xgboost库。第一种方式，是直接使用xgboost库自己的建模流程。 其中最核心的，是DMtarix这个读取数据的类，以及train()这个用于训练的类。与sklearn把所有的参数都写在类中的 方式不同，xgboost库中必须先使用字典设定参数集，再使用train来将参数及输入，然后进行训练。会这样设计的原 因，是因为XGB所涉及到的参数实在太多
sklearn与XGBoost
积一时之步，臻千里之遥程
07-22 6391
菜菜的scikit-learn课堂——sklearn与XGBoost 文章目录1. XGBoost简介1.1 xgboost库与XGB的sklearn API1.2 XGBoost的三大板块2 梯度提升树2.1 提升集成算法：重要参数n_estimators2.2 有放回随机抽样：重要参数subsample2.3 迭代决策树：重要参数eta3 XGBoost的智慧3.1 选择弱评估器：重要参数booster3.2 XGB的目标函数：重要参数objective3.3 求解XGB的目标函数3.4 参数化决策树
sklearn与XGBoost#02
Lin2108的博客
01-10 763
文章目录求解XGB的目标函数 求解XGB的目标函数 在求解XGB的目标函数的过程中，我们考虑的是如何能够将目标函数转化成更简单的，与树的结构直接相关的写法， 以此来建立树的结构与模型的效果（包括泛化能力与运行速度）之间的直接联系。也因为这种联系的存在，XGB的目 标函数又被称为“结构分数”。 其中 和 分别是在损失函 上 所求的一阶导数和二阶导数，他们被统称为每个样本的梯度统计 量（gradient statisticts）。在许多算法的解法推导中，我们求解导数都是为了让一阶导数等于0
Sklearn.xgboost
kakak_的博客
04-01 670
sklearn.XGBoost并不是sklearn中有xgboost类库，而是xgboost具有sklearn风格的API接口。 XGBoost类库除了支持决策树作为弱学习器外，还支持线性分类器，以及带DropOut的DART决策树，不过通常情况下，使用默认的决策树弱学习器即可。 对于sklearn风格的接口，主要有2个类可以使用，一个是分类用的XGBClassifier，另一个是回归用的XGB...
使用sklearn训练xgboost模型
weixin_41524411的博客
08-09 1931
xgboost是提升树方法的一种，算法由GBDT改进而来，在计算时也采用并行计算，速度更快。sklearn中提供分类和回归的xgboost模型，本文对二分类问题采用xgboost进行训练。 一、数据准备 1、样本 正样本：1.5W 负样本：10W 5个特征 2、分训练集和测试集 import pandas as pd from sklearn.model_selecti...
【sklearn】XGBoost应用
Tuzi_bo的专栏
06-28 3490
本文给个简单的例子，来看看sklearn是怎么用xgboost的。 1.先加载数据，这里用pandas，假设数据文件的最后一列是样本的标签。 from xgboost import XGBClassifier import pandas as pd from sklearn.model_selection import train_test_split from sklearn.metric...
sklearn-xgboost.rar_python xgboost_sklearn_xgboost_xgboost sklea
07-14
sklearn-xgboost sklearn-xgboost的使用以及创建，这个是学习机器学习时的作业，希望大家指正
sklearn学习（3）数据降维
weixin_69067946的博客
11-29 142
本文介绍了机器学习中的特征选择和特征提取方法。特征选择方法包括：1）移除低方差法，通过VarianceThreshold过滤方差小的特征；2）单变量统计法，使用SelectKBest基于统计检验选择最佳特征；3）基于模型的选择，如Lasso正则化选择重要特征。特征提取部分重点讲解了PCA（主成分分析）和LDA（线性判别分析）两种降维技术：PCA是无监督方法，追求最大化方差；LDA是有监督方法，需使用标签信息，追求最大化类间距离和最小化类内距离。
机器学习周报二十四
weixin_60864619的博客
11-30 720
本周学习了潜在扩散模型的概念，潜在扩散模型的实现是很简单的，之后学习了变分自编码器(VAE)。同时解决了之前的RCNN目标检测的模型，但是效果很差。This week, I studied the concept of latent diffusion models. The implementation of latent diffusion models is quite simple. Afterwards, I learned about variational autoencoders (VAE)
【】模式识别与机器学习基础概念
hiliang521的博客
11-30 748
关键词：时空特征组合、向量表示、模式类、信息表征模式是模式识别领域的基础概念。广义地说，模式是指区别事物的时空特征组合，存在于时间和空间中可观察的物体，只要我们能够区别它们是否相同或相似，都可以称之为模式。从信息的角度来看，模式不是事物本身，而是从事物获得的信息。这种信息往往具有时间和空间的分布特性，比如个人的照片所包含的像素信息，歌曲旋律所体现的音阶变化，以及动物步态所反映的运动特征。这些信息通过特定的方式组织起来，形成了我们能够识别和区分的模式。在数学上，模式一般用向量来表示。
LDU机器学习大作业TCR-抗原结合预测
qq_52108058的博客
11-30 656
这是函数是从csv文件中加载训练数据和测试数据，从一个pickle文件加载节点的嵌入向量，转换成PyTorch Geometric 可以使用的图格式。细读data_processing.py发现给出的文件没有embeddings.pkl嵌入文件也没有配置yaml文件，并且还没有arg_parser.py参数文件。表示图中的所有相互作用（边）。与 edge_index 中的每条边一一对应，表示该相互作用的标签（0 或 1）(E)使用上面的脚本生成train.csv和val.csv的嵌入pkl文件。
AAAI-2013《Spectral Rotation versus K-Means in Spectral Clustering》
Christo的博客
11-30 461
这篇论文成功地将谱旋转技术应用于谱聚类，解决了传统K-Means在处理松弛谱向量时的偏差问题。通过引入正交旋转约束，方法在理论上保证了更好的连续-离散逼近，并在实验中证明了其在图割优化和聚类指标上的优越性。论文结构清晰：从谱聚类背景引入问题，推导优化算法，提供理论证明，并通过基准数据集验证。该工作强调了谱聚类后处理的的重要性，为后续研究（如自适应谱聚类）提供了基础。
Week 27: 机器学习补遗：XGBoost
MCHacker的专栏
11-30 449
本周继续回归经典机器学习领域，对XGBoost 进行了学习。本周重点推导了 XGBoost 基于二阶泰勒展开的目标函数，并结合时序预测场景进行学习。本周重新审视了 XGBoost 这一机器学习界的基本算法，通过手推公式和模拟代码，重新尝试理解传统机器学习算法在时序应用上的独特优越之处。在 接触多模态风控数据后，发现对于数值型和类别型密集的表格数据，Transformer等深度模型往往需要极其复杂的 Embedding 设计才能匹敌 XGBoost 的简单暴力。
11.1 高斯消元法的应用
passxgx的博客
11-26 755
高斯消元法实际应用
【第二十二周】机器学习笔记二十
最新发布
m0_54824389的博客
11-30 151
自监督学习在图像领域旨在让模型无需人工标注，直接从图像本身挖掘监督信息来学习有效的视觉特征。二是基于掩码重建的方法，通过随机遮盖图像的大部分区块，然后驱使模型根据剩余的可见上下文来预测被遮盖部分的像素或高级语义，以此训练模型掌握图像的结构与组成规律。课程从文本自监督基础框架出发，聚焦语音与影像数据的预训练方法，包括生成式建模、预测式学习与对比学习三大方向，并进一步介绍了无需负样本的Bootstrapping及正则化方法VICReg等新兴范式，充分体现了自监督技术在多模态场景下的强适应与泛化能力。
深度学习、机器学习、人工智能三者的关系
casually的博客
11-29 518
以上就是深度学习、机器学习、人工智能三者的关系。
【机器学习】21-22 机器学习系统开发流程 & 倾斜数据集
weixin_54010404的博客
11-30 437
本文摘要：文章介绍了机器学习开发流程的关键环节，包括迭代开发过程、错误分析方法、数据增强与合成技术、迁移学习的应用场景与策略。详细阐述了倾斜数据集下的评估指标（准确率、召回率、F1分数）及其权衡关系，并概述了完整机器学习项目的生命周期（从任务定义到部署监控）。特别强调了在数据不平衡情况下传统准确率的局限性，提出了使用精确率和召回率作为替代指标，并通过F1分数进行综合评估的方法。最后提及了机器学习项目中的伦理考量和数据偏见问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值