XGboost的整理

已于 2024-03-26 15:50:46 修改
阅读量775 收藏 7
点赞数 11
文章标签： 算法 机器学习 人工智能
于 2024-03-05 18:02:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_42209537/article/details/136476107
版权
本文介绍了XGBoost，一种高效的GBDT实现，着重于算法改进，如加入正则项控制模型复杂度，利用泰勒展开加速训练，并讨论了特征选择、树剪枝等关键步骤。同时涵盖了多输出支持和与GBDT的区别，以及如何使用XGBoost库进行模型训练和评估。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

XGboost（extreme gradient boosting）:高效实现了GBDT算法并进行了算法和工程上的许多改进。

XGboost的思路：

目标：建立k个回归树，使得树群的预测尽量接近真实值（准确率）而且有尽量大的泛化能力。

目标函数：L\left ( \phi \right )=\sum_{i}^{}l\left ( \hat{y_{i}}-y_{i} \right )+\sum_{k}^{}\Omega \left ( f_{k} \right )

i表示第i个样本，l\left ( \hat{y_{i}}-y_{i} \right )表示第i个样本的预测误差，误差越小越好，\sum_{k}^{}\Omega \left ( f_{k} \right )表示树的复杂度的函数，越小复杂度越低，泛化能力越强

\Omega \left ( f_{t} \right )=\gamma T+\frac{1}{2}\lambda \sum_{j=1}^{T}\omega _{j}^{2}

T：叶子的个数

\omega _{j}^{2}：w的L2模平方

目标要求预测尽量小，叶子节点尽量少，节点数值尽量不极端，回归树的参数（1）选取哪个特征分裂节点（2）节点的预测值。间接解决这两个参数的方法：贪心策略+最优化（二次最优化）

（1）选取哪个特征分裂节点：最简单的是枚举，选择loss function效果最好的那个

（2）确立节点的w以及最小的loss function，采用二次函数的求最值

步骤：选择一个feature分裂，计算loss function最小值，然后再选一个feature分列，又得到一个loss function最小值，枚举完成后，找一个效果最好的，把树分裂，在分裂的时候，每次节点分裂，loss function被影响的只有这个节点的样本，因而每次分裂，计算分裂的增益只需要关注打算分裂的那个节点的样本。接下来，继续分裂，按照上述方法，形成一棵树，再形成一棵树，每次在上一次的预测基础上取最优进一步分裂/建树。

停止条件：

①当引入的分裂带来的增益小于一个阈值的时候，可以剪掉这个分裂，所以并不是每一次分裂lossfunction整体都会增加的，有点预剪枝的意思，阈值参数为\gamma正则项里叶子节点数T的系数。

②当数达到最大深度时则停止建立决策树，设置一个超参数max_depth，树太深很容易出现过拟合。

③当样本权重和小于设定阈值时则停止建树，一个叶子节点样本太少时，终止，避免过拟合。

最低0.47元/天 解锁文章
XGBoost的目标函数推导和分裂增益计算
weixin_44077242的博客
07-23 3815
1.XGBoost简介 XGBoost是一种基于GBDT优化的工程化实现，是由n个基模型组成的一个加法模型，它的基本类器可以是树模型，也可以是线性分类器，本文以树模型进行推导。 1.1XGBoost的目标函数 直接上公式： XGBoost的目标函数由模型的损失函数和抑制模型复杂度的正则项组成，其中模型的损失函数由真实值(y)和预测值进行表示，n表示样本的数量，对于预测值，我们可以用如下的公式进行表示： 模型复杂度是将全部t棵树的复杂度进行求和，训练中当前模型的复杂度如下表示： 该公式表示为当前模型的复
集成学习：XGBoost算法目标函数推导
qq_24394635的博客
02-12 664
XGBoost全名叫(eXtreme Gradient Boosting)极端梯度提升，GBDT(gradient boosting decision tree)的改进 XGBoost的核心算法思想： 1、不断地添加树，不断地进行特征分裂来生长一棵树，每次添加一个树，其实是学习一个新函数f(x)，去拟合上次预测的残差。 2、当我们训练完成得到k棵树，我们要预测一个样本的分数，其实就是根据这个样本的...
XGBoost算法-目标函数
敲代码的乔帮主
09-08 1479
xgboost是一个非常强大，非常受欢迎的机器学习模型，其中最大的特色就是boosting（改进、推进），怎么改进呢？就是xgboost这个算法，它会先建立一颗简单的决策树，然后看这个决策树的预测结果，有哪些地方算错了，针对这些错误，来进行一些改进，又拿到一颗决策树，然后看第二颗决策树预测结果又哪些地方错了，然后再根据这些错误再做一些改进，通过这一次次的快速的改进，将错误最小化，最后xg可达到一个非常精确的结果。
XGBoost的目标函数
最新发布
xuukai的博客
03-31 179
贪心算法是一种在每一步选择当前最优解的算法，而不考虑全局最优解。其特点包括：局部最优：每一步只关注当前最优解。不可回溯：一旦做出选择，就不会回头重新选择。高效性：通过逐步优化，快速找到局部最优解。在XGBoost中，贪心算法用于每一步选择当前最优的树结构和叶子节点预测值，从而逐步优化目标函数。
XGBoost目标函数推导
h2728677716的博客
03-17 1290
目标函数： 做函数空间的梯度下降。 累加训练 我们发现目标函数(相对GBDT)里面是带正则项的，t-1时刻的正则项全部在const里面 2.对loss进行泰勒二阶展开的近似。 XGBoost用的是牛顿法（一阶导） GBDT用的是梯度下降（二阶导） XGBoost用更快速度找到最优解，迭代次数更少 3.再次化简目标函数 因为我们让目标函数尽可能小对常数项没有关系，那么我们就可以把常数项都去掉。 新的目标函数 GBDT是拟合上一条样本的负梯度 XGBoo...
python实现xgboost回归_机器学习之逻辑回归(纯python实现)
weixin_39941262的博客
11-21 951
机器学习之逻辑回归(纯python实现)logistic回归是一种广义的线性回归，通过构造回归函数，利用机器学习来实现分类或者预测。原理上一文简单介绍了线性回归，与逻辑回归的原理是类似的。预测函数(h)。该函数就是分类函数，用来预测输入数据的判断结果。过程非常关键，需要预测函数的“大概形式”， 比如是线性还是非线性的。 本文参考机器学习实战的相应部分，看一下数据集。// 两个特征-0.017612...
XGBoost整理
Rudy95的博客
08-20 634
GBDT,XGboot,LightGBM
31. RF GBDT XGBoost 面试级整理1
08-03
RF GBDT XGBoost 面试级整理1】 集成学习是机器学习领域中的一个重要概念，它通过结合多个弱学习器（基学习器）的预测来提高整体模型的性能和稳定性。RF（随机森林）、GBDT（梯度提升决策树）和XGBoost都是集成...
关于xgboost的一些整理
不再的blog
08-10 8653
XGBOOST的三大板块 XGBoost本身的核心是基于梯度提升树实现的集成算法，整体来说可以有三个核心部分：集成算法本身，用于集成的 弱评估器，以及应用中的其他过程。三个部分中，前两个部分包含了XGBoost的核心原理以及数学过程，最后的部分 主要是在XGBoost应用中占有一席之地。我们的课程会主要集中在前两部分，最后一部分内容将会在应用中少量给大 家提及。接下来，我们就针对这三个部分，来进行一一的讲解 from xgboost import XGBRegressor as XGBR from skl
基于xgboost的用户行为分析UBA
12-13
1. **数据预处理**：首先，对原始用户行为数据进行清洗和整理，可能包括去除重复项、填充缺失值、异常值检测等步骤。然后，根据业务需求选择关键特征，如用户停留时间、访问频率等。 2. **特征工程**：创建能够反映...
[机器学习]XGBoost（2）——目标函数（公式详解）
m0_69281817的博客
12-19 1338
前置知识详见XGBoost（1）
XGBoost原理及目标函数推导详解
热门推荐
htbeker的博客
06-12 1万+
前言 XGBoost（eXtreme Gradient Boosting）全名叫极端梯度提升，XGBoost是集成学习方法的王牌，在Kaggle及工业界都有广泛的应用并取得了较好的成绩，本文较详细的介绍了XGBoost的算法原理及目标函数公式推导。 一、XGBoost原理 XGBoost是boosting算法的一种，是以决策树为基础的一种梯度提升算法。通过多轮迭代,每轮迭...
XGBoost的目标函数：重要参数obj
喜欢吃夫妻肺片
01-30 2367
XGBoost的目标函数解析
Xgboost自定义目标函数
sunmingyang1987的博客
03-07 1643
（1）xgboost中自定义目标函数的参数传入顺序 自定义的xgboost目标函数传入的第一个参数是预测值，第二个参数是真实值，这个顺序与gridSearchCV函数的scorning参数对应自定义目标函数正好相反，需要注意。 （2）示例及用法 举几个xgboost中自定义目标函数： def customedscore(preds, dtrain): label = dtrain.get_label() pred = [int(i>=0.5) for i in preds]
XGBoost 、逻辑回归、随机森林 模型实战对比
weixin_41395763的博客
02-23 8350
1、引言 在XGBoost基本原理博文中我们介绍了XGBoost的基本原理，本篇博文我们将介绍XGBoost的基本使用方法，作为新手的学习参考。 本文使用kaggle上的泰坦尼克数据集，只是对XGBoost的使用做一个简单的描述，若想知道Kaggle的整个竞赛流程以及在竞赛中如何使用XGBoost进行预测的话，关注本博客，以后会陆续推出与竞赛内容相关的博客及代码。kaggle的泰坦尼克的数据集分为训练数据和测试数据，测试数据与训练数据的区别在于测试数据缺少‘survival’列，即为我们需要预测的列，数
XGBoost学习-目标函数推导
很吵请安静
02-22 1522
目标函数推导 目标函数的基本形式 模型对于某个样本的预测值： fkf_{k}fk​是基学习器，最终模型是多个基学习器 最初的目标函数可以写成 y^i(t−1)\hat{y}_{i}^{(t-1)}y^​i(t−1)​：是前t-1个集成学习器对样本的预测值 ft(xi)f_{t}\left(\mathbf{x}_{i}\right)ft​(xi​)：是当前学习器对样本的预测值 Ω(ft)\Ome...
分类问题——逻辑回归与XGBoost
weixin_48457572的博客
05-11 3071
逻辑回归 初学逻辑回归的时候就只是简单地认为sigmoid函数可以把线性函数映射到(0，1)的区间上，因此选用了sigmoid模型作为逻辑回归的模型函数。 其实是学的太简单了，直到面试的时候被问到这个问题，才想到需要来把坑填一下。 事实上可以把线性函数映射到(0，1)上的函数有无穷多个，而逻辑回归使用sigmoid函数并不是随便选的，而是通过理论推导得到的。 这里挂上我觉得解释得最清楚的文章：https://www.cnblogs.com/wallacup/p/6024855.html?utm_so
【数据分析与挖掘】基于LightGBM,XGBoost,逻辑回归的二分类/多分类的分类预测实战(有数据集和代码)
m0_49263811的博客
12-08 6866
【机器学习】基于逻辑回归，LightGBM,XGBoost额的分类预测一.基于逻辑回归的分类预测1 逻辑回归的介绍和应用1.1 逻辑回归的介绍1.2逻辑回归的应用2.Demo实践**Step1:库函数导入****Step2:模型训练****Step3:模型参数查看****Step4:数据和模型可视化****Step5:模型预测**3.基于鸢尾花（iris）数据集的逻辑回归分类实践**Step1:库函数导入****Step2:数据读取/载入****Step3:数据信息简单查看**Step4:可视化描述Step
XGBOOST
03-08
<think>嗯，用户想了解XGBoost机器学习算法的使用教程、参数说明和安装指南。首先，我需要整理一下XGBoost的基本信息，确保覆盖安装步骤、参数解释和简单的代码示例。 安装部分，用户可能用的是Python，所以应该包括pip安装命令，可能还要提到conda安装，以及安装后的测试方法。引用中提到的pip install xgboost应该没错，但需要确认是否需要额外的步骤，比如安装依赖库或者GPU支持。 然后是参数说明，XGBoost有很多参数，需要分通用参数、学习任务参数等。比如booster类型、树的最大深度、学习率等。可能需要列出常用参数及其作用，帮助用户快速上手。 使用教程部分，应该提供一个简单的示例，比如分类问题，用鸢尾花数据集。步骤包括数据准备、模型训练、预测和评估。代码要简洁，并解释关键部分，比如参数设置。还要注意引用中的示例是否正确，比如引用1里的代码是否适用。 另外，用户可能对性能优化和调参感兴趣，可以提到网格搜索或者交叉验证。但问题中没有直接问优化，所以可能放在相关问题里。 需要检查引用是否相关。引用1提到XGBoost的安装和Python实现，引用2提到训练模型时的算法选择。所以引用这两个应该合适，但要注意正确标注引用位置，比如安装步骤引用1，算法概述引用2。 用户可能遇到的常见问题，比如安装失败，参数调优，如何处理类别特征等，但教程里可能不需要深入，可以在相关问题里列出。确保回答结构清晰，分步骤说明，参数部分用列表或表格形式更清晰，但Markdown中可能用列表。代码块用正确的语法高亮。 最后，生成的相关问题要围绕XGBoost的应用、调参、优化和与其他算法的比较，这样用户可以有进一步了解的途径。比如应用场景、参数调优方法、处理缺失值的机制等。 总结回答结构：安装指南、参数说明、使用教程（代码示例）、相关问题。各部分引用对应的参考资料，比如安装部分引用1，算法选择引用2。确保语言简洁，步骤明确，参数解释易懂。</think>### XGBoost 机器学习算法使用指南 #### 一、安装指南 1. **通过pip安装**（推荐）： ```bash pip install xgboost ``` 安装后可通过以下代码测试是否成功： ```python import xgboost as xgb print(xgb.__version__) ``` [^1] 2. **通过conda安装**： ```bash conda install -c conda-forge xgboost ``` --- #### 二、核心参数说明 XGBoost 参数分为三类，需通过字典形式传入： 1. **通用参数**： - `booster`: 基学习器类型，可选`gbtree`（默认，树模型）、`gblinear`（线性模型）或`dart`（带Dropout的树） - `nthread`: 并行线程数，默认系统最大 2. **学习任务参数**： - `objective`: 目标函数，如`reg:squarederror`（回归）、`binary:logistic`（二分类） - `eval_metric`: 评估指标，如`rmse`（均方根误差）、`auc`（AUC值） 3. **树模型参数**（当`booster=gbtree`时）： - `max_depth`: 树的最大深度（默认6） - `learning_rate`: 学习率（默认0.3） - `subsample`: 样本采样比例（默认1） - `colsample_bytree`: 特征采样比例（默认1） --- #### 三、使用教程（Python示例） 以鸢尾花分类为例： ```python from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from xgboost import XGBClassifier from sklearn.metrics import accuracy_score # 数据加载与划分 data = load_iris() X_train, X_test, y_train, y_test = train_test_split(data.data, data.target, test_size=0.2) # 模型训练 model = XGBClassifier( objective='multi:softmax', max_depth=3, learning_rate=0.1, n_estimators=100 ) model.fit(X_train, y_train) # 预测与评估 y_pred = model.predict(X_test) print("准确率:", accuracy_score(y_test, y_pred)) ``` --- #### 四、关键机制 1. **正则化**：通过`gamma`（分裂最小增益）、`lambda`（L2正则）控制过拟合 2. **缺失值处理**：自动学习缺失值分裂方向，无需预处理 3. **并行计算**：特征预排序后并行计算分裂增益 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值