决策树之XGBoost

最新推荐文章于 2025-03-13 11:54:27 发布

技术地板第一人

最新推荐文章于 2025-03-13 11:54:27 发布

阅读量1.3k

点赞数

分类专栏：机器学习文章标签：决策树机器学习 sklearn

本文链接：https://blog.youkuaiyun.com/lxpkuss/article/details/119971319

版权

本文深入探讨XGBoost的数学原理，包括目标函数、决策树优化和稀疏感知算法。工程实现部分涉及块结构设计、缓存优化及分布式计算。文章还讨论了XGBoost的优缺点及调参策略。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文从互联网搬运，只用于本人学习记录。

决策树之XGBoost

1. 数学原理
2. 工程实现
3. 优缺点
4. 调参

XGBoost使大规模并行boosting tree的工具。

1. 数学原理

1.1. 目标函数

XGBoost使由 $k$ 个基模型组成的一个加法运算式：
$\hat{y_i} = \sum^k_{t = 1}f_t(x_i)$
其中 $f_k$ 为第 $k$ 个基模型， $\hat{y_i}$ 为第 $i$ 个样本的预测值。

损失函数由预测值 $\hat{y_i}$ 与真实值 $y_i$ 进行表示：
$\sum^n_{i = 1}l(y_i, \hat{y_i})$
其中 $n$ 为样本数量。

目标函数由模型的损失函数

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

技术地板第一人

关注关注

0
点赞
踩
6

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

决策树与XGBOOST

qq_42219077的博客

03-02

2805

决策树定义（决策树的构建算法主要有ID3、C4.5、CART三种，其中ID3和C4.5是分类树，CART是分类回归树）理解树，就需要理解几个关键词：根节点、父节点、子节点和叶子节点。 决策树利用如上图所示的树结构进行决策，每一个非叶子节点是一个判断条件，每一个叶子节点是结论。实质上就是在用特征维度对样本空间进行划分。假设树为二叉树，通过不断将特征进行分裂。比如当前树结点是基于第j个特征值进...

简述决策树，随机森林和XGBOOST之间的关系

shange19的博客

11-10

6442

本文主要讲解：决策树，随机森林和xgboost，附带讲解AdaBoost和GBDT 1.决策树这些算法都依赖于决策树或者决策树的各种魔改版，所以决策树是一定要掌握清楚的。决策树是一种常见的机器学习算法，决策树的目的是构造一种模型，使之能够从样本数据的特征属性中，通过学习简单的决策规则——IF THEN规则，从而预测目标变量的值。以西瓜的例子来说，给定类似色泽，根蒂以及敲声等特征，怎么判断一个...

参与评论您还未登录，请先登录后发表或查看评论

决策树（十二）--XGBoost

工作笔记

11-11

7396

转自：https://cloud.tencent.com/developer/article/1005611 个人感觉这篇文章还是跟网上很多文章一样，把xgboost按gbdt来解释来。我这里略删改。不对之处，还请指正～原始论文：https://arxiv.org/pdf/1603.02754v1.pdf 实际上，xgboost是对gbdt的优化，所以，先说gbdt. GBDT 是常用的机...

XGBoost算法深度解析：从原理到实践

最新发布

彩旗工作室的博客

03-13

1678

XGBoost是一种高效的梯度提升决策树算法，通过迭代集成CART树修正预测误差。其创新包括：1）引入正则化项防止过拟合；2）二阶泰勒展开加速收敛；3）基于增益最大化分裂节点，支持自动处理缺失值。XGBoost通过特征预排序与并行化提升效率，适用于金融风控、生物信息学等场景。与GBDT相比，XGBoost在精度与效率间取得平衡，成为结构化数据建模的黄金标准。衍生技术（如XGBoost-LSS）正不断拓展应用边界。

决策树-GBDT-RF-Xgboost

withme的博客

07-19

4811

1.GBDT 2.RF 3.XGBOOST

XGBoost:从决策树到极限梯度提升树

井底小蛙的博客

12-06

1860

本文以决策树为出发点,以集成学习的发展路径为脉络,介绍XGBoost算法的优化思路及相关知识;

五折交叉验证决策树、xgboost进行酒店预订是否取消的的预测

02-07

本项目包含 1.数据处理 2.数据探索性分析 3.网格搜索对决策树、xgboost进行模型参数调优 4.基于五折交叉验证的决策树、xgboost模型预测

11. 决策树 GBDT XGBoost的区别1

08-04

决策树、GBDT、XGBoost的区别和集成学习方法 决策树是机器学习中常用的学习器，通过从根建立树来决策叶子节点的分裂。常见的决策树算法有ID3、C4.5、CART等，每种算法都有其特点，例如ID3/C4.5决策树用信息熵计算...

机器学习：从决策树到xgboost

weixin_51194902的博客

12-30

1805

1. 决策树 1.1. 决策树的定义 决策树，顾名思义是用来做决策的，当我们决定一件事情要不要做的时候，会有很多条件。举个例子，我们决定明天要不要去打高尔夫，那么我们会考虑到明天的天气，温度等情况。这里的天气和温度就是特征，是否去打高尔夫就是类别标签。我简单画个图 决策树的学习过程包括：特征选择、决策树生成、决策树剪枝。下面我将围绕这些过程讲解 1.2. ID3算法这里要引入一些概念数据集的信息熵，信息熵反映了一个数据集的纯度，信息熵越大，样本纯度越低，不确定性越大。信息熵的计算公式条件熵，在

【机器学习笔记】决策树 随机森林 XGBoost

PleaseBeStrong的博客

09-18

352

收集样本数据，确定所有的特征值根据计算不同特征值对应的信息增量来确定当前选择的是哪一个特征值（选择最大的信息增量，且选完就不能选了）根据所选的特征值进行分支，然后再分别对左右子树重复操作2直到满足停止条件用老师的区分猫狗例子来最终演示过程。

决策树、随机森林、GBDT、XGBoost

liweiminlining的专栏

02-21

1764

决策树、随机森林、GBDT、XGBoost

XGBoost中的层次树：构建决策树的层次结构

AI天才研究院

06-29

6298

作者：禅与计算机程序设计艺术《13. XGBoost 中的层次树：构建决策树的层次结构》作为一名人工智能专家，程序员和软件架构师，我今天将解释如何使用 XGBoost 中的层次树构建决策树的层次结构。在开始之前，请确保您已经安装了 XGBoost

Xgboost与决策树 原理

weixin_42217488的博客

10-05

1778

阅读了一些博客和论文，发现内容很多，比较繁杂。本文力图用最简洁的话语从另一个角度概括Xgboost,主要参考内容见： 1.原文：https://arxiv.org/pdf/1603.02754v1.pdf 2.陈天奇 PPT：https://pan.baidu.com/s/10NWfRM9qimswGxPsF9VlDw 密码：v3y6 3.介绍详细的blog：https://blog.youkuaiyun.com/v_JULY_v/article/details/81410574 Xgboost是一个很有名梯度提升树

xgboost算法_一文带你读懂决策树 ——浅析决策树算法发展脉络

weixin_39734646的博客

11-18

592

0.前言作为一种非常著名的机器学习算法，相信大家对决策树都很熟悉，它不仅是初级面试必问的基础算法，更是仍然活跃于各大工业实践的利器。最近在家整理了一下决策树的相关资料，尝试用一篇短文梳理决策树的发展脉络，帮助大家建立各类决策树算法的基本认知，涉及到的理论与算法包括但不限于：决策树基本思想、ID3、C4.5、CART、adaboost、GBDT、RF、XGB、LGB等。本文作为科普实则门槛稍高，有些...

react 递归遍历四层树结构遍历分支中的最后一个节点_终于有人把XGBoost 和 LightGBM 讲明白了，项目中最主流的集成算法！...

weixin_39986741的博客

11-18

572

转载自：Datawhale(ID：Datawhale)作者：阿泽本文9764字40图，建议阅读25分钟。本文为阿泽带你学决策树的第三篇，主要介绍基于Boosting框架的主流集成算法。本文是决策树的第三篇，主要介绍基于 Boosting 框架的主流集成算法，包括 XGBoost 和 LightGBM。送上完整的思维导图：XGBoostXGBoost 是大规模并行 boosting tre...

决策树相关算法——XGBoost原理分析及实例实现(二)

小简铺子

05-04

1278

1前言本篇博客主要记录的是XGBoost在构建决策树结构时，知道如何评定划分点的好坏的情况下，如何遍历查找出该树结构的切分点。前篇博客决策树相关算法——XGBoost原理分析及实例实现(一)介绍的是贪心查找算法，逐步遍历特征和特征取值，比较切分前后的平方误差的大小，获得最佳切分点。本篇主要介绍的是近视查找算法和稀疏感知的划分查找。 2要说的话我们知道决策树中的ID3算法和C4.5...

算法小白从决策树到XGboost

K_KK_KK_KK的博客

12-08

1304

本文主要为一位大二本科生的树+Boosting类算法的学习分享。决策树部分重直观理解，并附带了大量例子，确保草履虫都能知道每一步是如何计算；集成学习部分则主要重数学推导，也附上了一定数量的可视化。此外，XGboost的一大特点是工程实现，如列块并行学习等，但因为本文重点还是在于更偏算法的目标函数和学习策略云云，希望深入了解可参考深入理解XGBoost，优缺点分析，原理推导及工程实现。本文参考的视频及文章较多，更像是学习笔记分享，大部分的可视化内容也是直接搬运（非本人原创）、都附上链接。

从决策树到GBDT再到XGBoost

大卫DrDavidS的博客

08-03

2645

决策树到CART，到GBDT，到XGBoost

决策树到xgboost

Bismarckczy的博客

11-06

297

Bagging方法有放回地采样同数量样本训练每个学习器, 然后再一起集成(简单投票); Boosting方法使用全部样本(可调权重)依次训练每个学习器, 迭代集成(平滑加权). ...

决策树和xgboost

08-30

Xgboost在决策树生成过程中使用了一种称为梯度提升（Gradient Boosting）的技术，可以逐步地改进每一颗决策树的预测能力。它通过优化目标函数来选择每一步生成的决策树，使得模型的性能不断提升。Xgboost算法的核心...