XGBoost理解

最新推荐文章于 2020-11-26 10:26:00 发布
原创 最新推荐文章于 2020-11-26 10:26:00 发布 · 2.4k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#XGBoost

XGBoost是一种基于梯度提升的机器学习算法，通过构建和优化CART树来实现预测。它通过加法训练逐步优化目标函数，利用CART树的特性进行高效优化。模型正则化项通过γ和λ控制树的复杂度，以防止过拟合。通过计算增益（Gain）来决定树的切分点，同时考虑γ阈值以控制切分的有效性。XGBoost支持自定义损失函数并能并行计算，因此在许多竞赛中表现出色。

什么是XGbbost

XGBoost是Extreme Gradient Boosting的简称，对应的模型就是一堆CART树，思想是将每棵树的预测值加到一起作为最终的预测值(可谓简单粗暴)。

下图就是CART树和一堆CART树的示例，用来判断一个人是否会喜欢计算机游戏：
这里写图片描述

这里写图片描述

图二说明了如何用一堆CART树做预测，就是简单将各个树的预测分数进行相加。

注：gboost为什么使用CART树而不是用普通的决策树呢？
简单讲，对于分类问题，由于CART树的叶子节点对应的值是一个实际的分数，而非一个确定的类别，这将有利于实现高效的优化算法。

XGboost的数学模型

y^=∑k=1Kf
最低0.47元/天 解锁文章
一文入门XGBoost：为什么它是工业界的「集成学习扛把子」？
cjd688的博客
10-03 789
多分类：通过 “softmax” 输出类别概率，轻松搞定手写数字识别、图像分类等任务；排序任务：内置 “排序损失函数”（如 LambdaRank），是推荐系统中 “用户商品排序” 的常用工具；自定义损失：支持用户传入自己的损失函数（只要能求一阶、二阶导数），满足个性化需求（如金融场景的 “分位数损失”）。
XGBoost（eXtreme Gradient Boosting）
最新发布
Rhett_Butler0922的博客
04-25 1027
XGBoost 是一种基于梯度提升（Gradient Boosting）的机器学习算法，由陈天奇（Tianqi Chen）于2014年提出。它结合了决策树（CART，分类与回归树）和梯度提升的思想，通过集成学习构建强大的预测模型。XGBoost 以其高效性、准确性和灵活性在数据科学竞赛（如Kaggle）和工业应用中广受欢迎。XGBoost 是一种高效、灵活且强大的机器学习算法，基于梯度提升和决策树，适用于结构化数据的多种任务。其核心优势在于二阶梯度优化、正则化、并行计算和对缺失值的鲁棒性。
xgboost实例_XGBoost：从精通到放弃
weixin_39590453的博客
11-26 695
XGBoost详解1.CART回归树CART回归树是假设树为二叉树，通过不断将特征进行分裂。比如当前树结点是基于第j个特征值进行分裂的，设该特征值小于s的样本划分为左子树，大于s的样本划分为右子树。而CART回归树实质上就是在该特征维度对样本空间进行划分, 而这种空间划分的优化是一种NP难问题，因此在决策树模型中是使用启发式方法解决。典型CART回归树产生的目标函数为:当我们为了求解最优...
XGBoost
lukeyyanghang的博客
02-25 6830
什么是XGBoost? XGBoost(eXtreme Gradient Boosting)算法是Gradient Boosting算法的高效实现版本，因其在应用实践中表现出优良的效果和效率，因而被工业界广为推崇。   XGBoost类似于GBDT，是一个基于CART树的，由多个弱分类器经过boost框架，以负梯度为学习策略的一种集成学习方法。   XGBoost的数学原理 作为GB方...
xgboost
ae5555的专栏
06-29 2663
xgboost构建过程xgboost 从顶到底构建树，在从低到顶反向进行剪枝。
精选资源
Xgboost
03-29
这对于深入理解Xgboost的工作原理，以及进行定制化开发或优化是非常有价值的。 总之，Xgboost因其高效、准确和灵活的特性，在数据科学领域有着广泛的应用。结合Jupyter Notebook，我们可以方便地进行实验和分析，而...
集成学习终篇：从CART回归树开始，经历BDT、GBDT彻底理解XGBoost - 知乎1
08-03
在本篇中，我们从CART回归树开始，逐步深入到Boosting算法，特别是Gradient Boosting Decision Tree (GBDT)以及XGBoost，探讨它们的原理、流程和差异。 CART回归树是一种决策树模型，主要用于连续值的预测。它通过...
matlab xgboost安装调试
02-12
2. **查看编译日志**：编译时的错误信息通常是解决问题的关键，仔细阅读并理解这些信息能帮助定位问题所在。 3. **查阅文档**：XGBoost的官方文档和MATLAB社区论坛通常有丰富的资源和解决方案。 4. **调试MATLAB代码...
深入理解XGBoost
wyj925458224的博客
09-14 442
XGBoost
XGboost
zr7116的博客
07-07 428
树的建立不是相互独立而是递进过程，基于前面结果生成下一颗树 每加一棵树效果就会提升 ...
机器学习--boosting家族之XGBoost算法
weixin_33807284的博客
07-17 396
一、概念 　　XGBoost全名叫（eXtreme Gradient Boosting）极端梯度提升，经常被用在一些比赛中，其效果显著。它是大规模并行boosted tree的工具，它是目前最快最好的开源boosted tree工具包。XGBoost 所应用的算法就是 GBDT（gradient boosting decision tree）的改进，既可以用于分类也可以用于回归问题中。 　　1...
xgboost简单理解
03-21
### XGBoost 的基本概念 XGBoost（Extreme Gradient Boosting）是一种基于梯度提升框架的高效机器学习算法[^2]。它的核心思想是在传统的 GBDT（Gradient Boosting Decision Tree）基础上引入了正则化项以及更优的目标函数优化方式，从而提升了模型的效果和泛化能力。 #### 工作原理 XGBoost 的工作原理主要体现在以下几个方面： 1. **目标函数的设计** XGBoost 使用了一个可扩展的目标函数来衡量模型的表现并指导每一步迭代的方向。该目标函数由两部分组成：训练损失和正则化项。具体形式如下： \[ Obj(t) = L^{(t)} + \Omega(f_t) \] 其中 \(L^{(t)}\) 表示当前轮次的训练误差，\(\Omega(f_t)\) 则是对新加入树结构复杂性的惩罚项。这种设计不仅提高了模型精度，也有效防止过拟合的发生[^3]。 2. **CART 树构建过程** 在每次迭代过程中，XGBoost 都会新增一棵 CART（Classification and Regression Trees），并通过最小化上述定义好的目标函数找到最佳分割点来进行节点划分操作。值得注意的是，由于采用了二阶泰勒展开近似技术，在实际计算时能够显著加快收敛速度的同时保持较高的准确性[^4]。 3. **并行计算支持** 不同于传统GBDT只能顺序执行的特点，XGBoost 支持多线程并行加速机制，极大地缩短了整体运行时间成本。此外还有诸如列采样、直方图剪枝等多种性能优化手段被融入其中进一步增强效率表现[^1]。 --- ### 简单实现代码 以下是利用 Python 中 `xgboost` 库快速搭建一个简单的回归任务案例： ```python import numpy as np from sklearn.datasets import load_boston from sklearn.model_selection import train_test_split import xgboost as xgb from sklearn.metrics import mean_squared_error # 加载数据集 data = load_boston() X_train, X_test, y_train, y_test = train_test_split(data.data, data.target, test_size=0.2, random_state=7) # 转换为DMatrix格式供后续调用 dtrain = xgb.DMatrix(X_train, label=y_train) dtest = xgb.DMatrix(X_test, label=y_test) # 设置参数 params = { 'objective': 'reg:squarederror', # 定义损失函数类型 'max_depth': 6, # 构建树的最大深度 'eta': 0.1 # 学习率 } num_rounds = 100 # 迭代次数 bst = xgb.train(params, dtrain, num_rounds) # 测试集预测 preds = bst.predict(dtest) rmse = np.sqrt(mean_squared_error(y_test, preds)) print("RMSE:", rmse) ``` 此段脚本展示了如何加载波士顿房价数据集，并将其划分为训练组与验证组；接着配置好必要的超参之后便可以直接启动训练流程直至结束评估最终得分情况。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值