决策树之XGBoost

最新推荐文章于 2025-05-27 16:36:02 发布

原创

最新推荐文章于 2025-05-27 16:36:02 发布 · 1.3k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#决策树 #机器学习 #sklearn

本文深入探讨XGBoost的数学原理，包括目标函数、决策树优化和稀疏感知算法。工程实现部分涉及块结构设计、缓存优化及分布式计算。文章还讨论了XGBoost的优缺点及调参策略。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文从互联网搬运，只用于本人学习记录。

决策树之XGBoost

1. 数学原理
2. 工程实现
3. 优缺点
4. 调参

XGBoost使大规模并行boosting tree的工具。

1. 数学原理

1.1. 目标函数

XGBoost使由 $k$ 个基模型组成的一个加法运算式：
$\hat{y_i} = \sum^k_{t = 1}f_t(x_i)$
其中 $f_k$ 为第 $k$ 个基模型， $\hat{y_i}$ 为第 $i$ 个样本的预测值。

损失函数由预测值 $\hat{y_i}$ 与真实值 $y_i$ 进行表示：
$\sum^n_{i = 1}l(y_i, \hat{y_i})$
其中 $<$

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

技术地板第一人

关注关注

0
点赞
踩
6

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

决策树与XGBOOST

qq_42219077的博客

03-02

2844

决策树定义（决策树的构建算法主要有ID3、C4.5、CART三种，其中ID3和C4.5是分类树，CART是分类回归树）理解树，就需要理解几个关键词：根节点、父节点、子节点和叶子节点。 决策树利用如上图所示的树结构进行决策，每一个非叶子节点是一个判断条件，每一个叶子节点是结论。实质上就是在用特征维度对样本空间进行划分。假设树为二叉树，通过不断将特征进行分裂。比如当前树结点是基于第j个特征值进...

简述决策树，随机森林和XGBOOST之间的关系

shange19的博客

11-10

6525

本文主要讲解：决策树，随机森林和xgboost，附带讲解AdaBoost和GBDT 1.决策树这些算法都依赖于决策树或者决策树的各种魔改版，所以决策树是一定要掌握清楚的。决策树是一种常见的机器学习算法，决策树的目的是构造一种模型，使之能够从样本数据的特征属性中，通过学习简单的决策规则——IF THEN规则，从而预测目标变量的值。以西瓜的例子来说，给定类似色泽，根蒂以及敲声等特征，怎么判断一个...

参与评论您还未登录，请先登录后发表或查看评论

决策树（十二）--XGBoost

工作笔记

11-11

7422

转自：https://cloud.tencent.com/developer/article/1005611 个人感觉这篇文章还是跟网上很多文章一样，把xgboost按gbdt来解释来。我这里略删改。不对之处，还请指正～原始论文：https://arxiv.org/pdf/1603.02754v1.pdf 实际上，xgboost是对gbdt的优化，所以，先说gbdt. GBDT 是常用的机...

决策树 & GBDT & XGBoost & LightGBM

最新发布

qq_41764621的博客

05-27

932

如果一棵树的叶子节点过多，说明它可能已经学习了训练数据中的很多细节甚至是噪音，这种现象通常被称为过拟合。C4.5并没有直接偏向于取值少的特征，而是通过分裂信息来调整信息增益，使得特征的基数大小影响其最终的选择概率。这种方法旨在纠正信息增益对于取值较多特征的偏爱，通过将信息增益与特征自身的熵相除来惩罚那些拥有大量取值的特征。该回归树不是去做分类，而是用回归树去。组合在一起，每一轮都“纠正”上一轮的错误，最终得到一个强大的集成模型。前一轮训练出的模型，而是通过样本权重的改变，间接地反映之前模型的表现。

决策树-GBDT-RF-Xgboost

withme的博客

07-19

4840

1.GBDT 2.RF 3.XGBOOST

XGBoost:从决策树到极限梯度提升树

井底小蛙的博客

12-06

2032

本文以决策树为出发点,以集成学习的发展路径为脉络,介绍XGBoost算法的优化思路及相关知识;

五折交叉验证决策树、xgboost进行酒店预订是否取消的的预测

02-07

本项目包含 1.数据处理 2.数据探索性分析 3.网格搜索对决策树、xgboost进行模型参数调优 4.基于五折交叉验证的决策树、xgboost模型预测

11. 决策树 GBDT XGBoost的区别1

08-04

决策树、GBDT、XGBoost的区别和集成学习方法 决策树是机器学习中常用的学习器，通过从根建立树来决策叶子节点的分裂。常见的决策树算法有ID3、C4.5、CART等，每种算法都有其特点，例如ID3/C4.5决策树用信息熵计算...

机器学习：从决策树到xgboost

weixin_51194902的博客

12-30

1823

1. 决策树 1.1. 决策树的定义 决策树，顾名思义是用来做决策的，当我们决定一件事情要不要做的时候，会有很多条件。举个例子，我们决定明天要不要去打高尔夫，那么我们会考虑到明天的天气，温度等情况。这里的天气和温度就是特征，是否去打高尔夫就是类别标签。我简单画个图 决策树的学习过程包括：特征选择、决策树生成、决策树剪枝。下面我将围绕这些过程讲解 1.2. ID3算法这里要引入一些概念数据集的信息熵，信息熵反映了一个数据集的纯度，信息熵越大，样本纯度越低，不确定性越大。信息熵的计算公式条件熵，在

【机器学习笔记】决策树 随机森林 XGBoost

PleaseBeStrong的博客

09-18

376

收集样本数据，确定所有的特征值根据计算不同特征值对应的信息增量来确定当前选择的是哪一个特征值（选择最大的信息增量，且选完就不能选了）根据所选的特征值进行分支，然后再分别对左右子树重复操作2直到满足停止条件用老师的区分猫狗例子来最终演示过程。

决策树、随机森林、GBDT、XGBoost

liweiminlining的专栏

02-21

1829

决策树、随机森林、GBDT、XGBoost

XGBoost中的层次树：构建决策树的层次结构

AI天才研究院

06-29

6324

作者：禅与计算机程序设计艺术《13. XGBoost 中的层次树：构建决策树的层次结构》作为一名人工智能专家，程序员和软件架构师，我今天将解释如何使用 XGBoost 中的层次树构建决策树的层次结构。在开始之前，请确保您已经安装了 XGBoost

Xgboost与决策树 原理

weixin_42217488的博客

10-05

1856

阅读了一些博客和论文，发现内容很多，比较繁杂。本文力图用最简洁的话语从另一个角度概括Xgboost,主要参考内容见： 1.原文：https://arxiv.org/pdf/1603.02754v1.pdf 2.陈天奇 PPT：https://pan.baidu.com/s/10NWfRM9qimswGxPsF9VlDw 密码：v3y6 3.介绍详细的blog：https://blog.youkuaiyun.com/v_JULY_v/article/details/81410574 Xgboost是一个很有名梯度提升树

XGBoost决策树生长原理详解

weixin_65289420的博客

03-10

1583

XGBoost决策树生长过程

xgboost算法_一文带你读懂决策树 ——浅析决策树算法发展脉络

weixin_39734646的博客

11-18

617

0.前言作为一种非常著名的机器学习算法，相信大家对决策树都很熟悉，它不仅是初级面试必问的基础算法，更是仍然活跃于各大工业实践的利器。最近在家整理了一下决策树的相关资料，尝试用一篇短文梳理决策树的发展脉络，帮助大家建立各类决策树算法的基本认知，涉及到的理论与算法包括但不限于：决策树基本思想、ID3、C4.5、CART、adaboost、GBDT、RF、XGB、LGB等。本文作为科普实则门槛稍高，有些...

react 递归遍历四层树结构遍历分支中的最后一个节点_终于有人把XGBoost 和 LightGBM 讲明白了，项目中最主流的集成算法！...

weixin_39986741的博客

11-18

586

转载自：Datawhale(ID：Datawhale)作者：阿泽本文9764字40图，建议阅读25分钟。本文为阿泽带你学决策树的第三篇，主要介绍基于Boosting框架的主流集成算法。本文是决策树的第三篇，主要介绍基于 Boosting 框架的主流集成算法，包括 XGBoost 和 LightGBM。送上完整的思维导图：XGBoostXGBoost 是大规模并行 boosting tre...

决策树相关算法——XGBoost原理分析及实例实现(二)

小简铺子

05-04

1303

1前言本篇博客主要记录的是XGBoost在构建决策树结构时，知道如何评定划分点的好坏的情况下，如何遍历查找出该树结构的切分点。前篇博客决策树相关算法——XGBoost原理分析及实例实现(一)介绍的是贪心查找算法，逐步遍历特征和特征取值，比较切分前后的平方误差的大小，获得最佳切分点。本篇主要介绍的是近视查找算法和稀疏感知的划分查找。 2要说的话我们知道决策树中的ID3算法和C4.5...

算法小白从决策树到XGboost

K_KK_KK_KK的博客

12-08

1360

本文主要为一位大二本科生的树+Boosting类算法的学习分享。决策树部分重直观理解，并附带了大量例子，确保草履虫都能知道每一步是如何计算；集成学习部分则主要重数学推导，也附上了一定数量的可视化。此外，XGboost的一大特点是工程实现，如列块并行学习等，但因为本文重点还是在于更偏算法的目标函数和学习策略云云，希望深入了解可参考深入理解XGBoost，优缺点分析，原理推导及工程实现。本文参考的视频及文章较多，更像是学习笔记分享，大部分的可视化内容也是直接搬运（非本人原创）、都附上链接。

从决策树到GBDT再到XGBoost

大卫DrDavidS的博客

08-03

2671

决策树到CART，到GBDT，到XGBoost

决策树和xgboost

08-30

决策树是一种广泛应用的机器学习算法，用于分类和回归任务。它通过对输入数据进行递归的二分切分，构建一棵树结构来进行预测。决策树的生成包括两个步骤：决策树生成和决策树剪枝。在决策树生成过程中，算法会尽可能地生成一个大的决策树，以最好地拟合训练数据。在决策树剪枝过程中，算法会使用验证数据集对已生成的树进行剪枝，并选择最优的子树作为最终的结果，剪枝的标准通常是通过最小化损失函数来确定的。而Xgboost是一种基于决策树的集成学习算法，特别适用于分类和回归任务。Xgboost通过构建多颗决策树，并将它们组合起来，形成一个强大的预测模型。Xgboost在决策树生成过程中使用了一种称为梯度提升（Gradient Boosting）的技术，可以逐步地改进每一颗决策树的预测能力。它通过优化目标函数来选择每一步生成的决策树，使得模型的性能不断提升。Xgboost算法的核心思想是通过加权求和的方式，将多棵决策树的预测结果进行组合，以获得更准确的预测结果。Xgboost在训练和预测速度上也具有很大的优势，因此被广泛应用于数据科学和机器学习领域。123 #### 引用[.reference_title] - *1* *2* *3* [决策树、GBDT与Xgboost详解](https://blog.youkuaiyun.com/hywel_xue/article/details/84145810)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]