终于把XGBoost总结写出来了！

最新推荐文章于 2022-04-07 14:41:30 发布
原创 最新推荐文章于 2022-04-07 14:41:30 发布 · 7.9k 阅读 · 14 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #机器学习 #编程语言 #python #java

本文详细介绍了XGBoost模型及其优势，包括其背后的原理、参数设置与调优策略。通过贝叶斯优化等方法实现高效参数选择，助力读者掌握这一强大的机器学习工具。

↑↑↑关注后"星标"Datawhale

每日干货 & 每月组队学习，不错过

 Datawhale干货 

作者：王茂霖，华中科技大学，Datawhale成员

内容概括

XGBoost模型及调参总结

  1. XGBoost原理

  2. XGBoost优势总结

  3. XGBoost参数详解

  4. XGBoost快速使用

  5. XGBoost调参方法

PPT下载：后台回复“210502”可获取

XGBoost模型介绍

一、XGBoost原理

XGBoost是2016年由华盛顿大学陈天奇老师带领开发的一个可扩展机器学习系统。严格意义上讲XGBoost并不是一种模型，而是一个可供用户轻松解决分类、回归或排序问题的软件包。它内部实现了梯度提升树(GBDT)模型，并对模型中的算法进行了诸多优化，在取得高精度的同时又保持了极快的速度。

二、XGBoost优势总结

XGBoost模型调参

一、XGBoost参数详解

1.一般参数

2.学习目标参数

3.工具包参数

二、XGBoost快速使用

三、XGBoost调参方法（贝叶斯优化）

Hyperopt是一个sklearn的python库，在搜索空间上进行串行和并行优化，搜索空间可以是实值，离散和条件维度。

1.初始化空间所需的值范围

2.定义目标函数

3.运行hyperopt功能

本文作者

王茂霖，Datawhale重要贡献成员，Datawhale&天池数据挖掘学习赛开源内容贡献者，阅读超10w。

参赛30余次，获得DCIC-数字中国创新创业大赛亚军，全球城市计算AI挑战赛，Alibaba Cloud German AI Challenge等多项Top10。

整理不易，点赞三连↓

Datawhale
关注
一文速学-XGBoost模型算法原理以及实现+贷款违约预测模型Python项目实战
master_hunter的博客
04-03 1万+
集成模型Boosting补完计划第三期了，之前我们已经详细描述了AdaBoost算法模型和GBDT原理以及实践。通过这两类算法就可以明白Boosting算法的核心思想以及基本的运行计算框架，余下几种Boosting算法都是在前者的算法之上改良得到，尤其是以GBDT算法为基础改进衍生出的三种Boosting算法：XGBoost、LightGBM、CatBoost。大家应该都对XGBoost算法模型熟悉但是对GBDT模型一无所知，看过之前GBDT的读者应该对GBDT模型有了一个很清楚的认知，对于理解XGBoos
超详细！XGBoost原理介绍
weixin_42988382的博客
07-05 4414
XGBoost梯度提升树提升集成算法参数:n-estimators参数subsample参数：eta(η\etaη)梯度提升算法总结XGBoostXGBoost的目标函数求解XGB的目标函数参数化决策树ft(x)f_t(x)ft​(x)寻找最佳树结构：www和TTT寻找最佳分枝方法：Gain重要参数γ\gammaγ XGBoost是现在最流行的三大GBDT模型中，最早的一个，后两个都是在XGBoo...
模型融合---Xgboost总结
dili8870的博客
03-02 4344
一、简介 全称：eXtreme Gradient Boosting 作者：陈天奇 基础：GBDT 所属：boosting迭代型、树类算法 适用范围：回归，分类，排序 xgboost工具包：sklearn xgboost链接|xgboost工具包(中文)链接|xgboost工具包(英文)链接 论文链接|项目地址|ppt 优点： 显示的把树模型复杂度作为...
XGboost模型知识点总结（下）
julyedu_7的博客
04-07 980
问题6：XGBoost如何选择最佳分裂点？ XGBoost在训练前预先将特征按照特征值进行了排序，并存储为block结构，以后在结点分裂时可以重复使用该结构。 因此，可以采用特征并行的方法利用多个线程分别计算每个特征的最佳分割点，根据每次分裂后产生的增益，最终选择增益最大的那个特征的特征值作为最佳分裂点。 如果在计算每个特征的最佳分割点时，对每个样本都进行遍历，计算复杂度会很大，这种全局扫描的方法并不适用大数据的场景。XGBoost还提供了一种直方图近似算法，对特征排序后仅选择常数个候选分裂位置作为候
xgboost知识点总结+代码调参
weixin_45366750的博客
11-14 3227
1. xgboost与GBDT的区别： （1）xgboos相比GBDT的优点 （1）精度更高：GBDT只用到一阶泰勒， 而xgboost对损失函数进行了二阶泰勒展开， 一方面为了增加精度， 另一方面也为了能够自定义损失函数，二阶泰勒展开可以近似大量损失函数。 （2）灵活性更强：GBDT以CART作为基分类器，而Xgboost不仅支持CART，还支持线性分类器，另外，Xgboost支持自定义损失函数，只要损失函数有一二阶导数。 （3）正则化：xgboost在目标函数中加入了正则，用于控制模型的复杂度。有助于降
XGBoost总结
Swift's Blog
05-30 443
示例 我们要预测一家人对电子游戏的喜好程度，有年龄、性别、职业这些特征。根据之前训练出来的多棵树来对这些样本打分，如下图所示： 注意，上述分数是由训练所得。与GBDT类似，两棵树的结论累加起来便是最终结论。如果不考虑工程实现、解决问题上的一些差异，XGBoost与GBDT比较大的不同就是目标函数的定义： Obj(t)=∑i=1nl(yi,y^i(t))+∑i=1tΩ(fi)=∑i=1nl(yi,y^i(t−1)+ft(xi))+Ω(ft)+ constant  \begin{align
xgboost总结
qq_25992377的博客
04-10 193
参考：https://blog.youkuaiyun.com/xiu351084315/article/details/89192983 算法原理 xgboost是在gbdt的基础上做了一些优化。 gbdt是基于CART的集成算法，使用回归树，可以处理分类和回归问题，通过每轮样本训练的训练，不断减小残差，修正合适的损失函数来构建树。 xgboost在损失函数中引入了正则项，减少过拟合；将一阶导数改为二阶导数；...
sklearn与XGBoost库xgboost算法参数总结
帅泽泽的博客
12-27 4706
1 sklearn与XGBoost 1.2 xgboost库与XGB的sklearn API 1.3 XGBoost的三大板块 2 梯度提升树 2.1 提升集成算法：重要参数n_estimators 2.2 有放回随机抽样：重要参数subsample 2.3 迭代决策树：重要参数eta 3 XGBoost的智慧 3.1 选择弱评估器：重要参数booster 3.2 XGB的目标函数：重要参数objective 3.3 求解XGB的目标函数 3.4 参数化决策树 ：参数alpha， lambda 3.5 寻
手写数字识别——SVM和XGBOOST
东汄的博客
05-02 3381
下面是训练集和测试集的部分图像 SVM模型代码（进行了调参）： #!/usr/bin/python # -*- coding:utf-8 -*- import numpy as np import pandas as pd from sklearn import svm import matplotlib.colors import matplotlib.pyplot as plt f...
笔记(总结)-XGBoost的前世今生
ZSY的大后台
01-13 1265
现今的各类数据挖掘比赛中，决策树模型占据了半壁江山（另外半壁基本就是神经网络模型）。决策树，本质上来说就是通过一系列的“规则”将样本集不断划分归类，最后归为同一类的样本被认为是相似的，赋予相同的预测值。 决策树相对于其他机器学习模型来说： 可解释较强（规则划分） 能够有合理的调参依据（树深度、叶子节点个数等参数概念都很直观） 适用于bagging和boosting方式的建模（Random F...
XGBoost 算法原理
01-06
一、简介 XGBoost(eXtreme Gradient Boosting)是GBDT(Gradient Boosting Decision Tree)的一种实现。GBDT又是提升树（Boosting Tree）的一种优化模型。Boosting则是集成学习的一种算法。 1.1 梯度提升树(Gradient Boosting Decison Tree, GBDT) 之前提到的 Bagging 的思想比较简单，即每一次从原始数据中根据均匀概率分布有放回的抽取和原始数据大小相同的样本集合，样本点可能出现重复，然后对每一次产生的训练集构造一个分类器，再对分类器进行组合。 Boosting的每一次抽
xgboost 算法总结
weixin_30730151的博客
07-21 476
xgboost有一篇博客写的很清楚，但是现在网址已经失效了，之前转载过，可以搜索XGBoost 与 Boosted Tree。 现在参照这篇，自己对它进行一个总结。 xgboost是GBDT的后继算法，也是采用boost算法的cart 树集合。 一、基学习器：分类和回归树（CART） cart树既可以 进行分类，也可以进行回归，但是两种情况下，采用的切分变量选择方式不同。 CA...
XGBoost参数调优小结
weixin_30826761的博客
01-17 278
https://mp.weixin.qq.com/s?__biz=MzU0MDQ1NjAzNg==&mid=2247485630&idx=1&sn=9edf2bfd771cf4bd6de51a7510415517&chksm=fb39adb5cc4e24a358c98aade3612d3fc9b6209f768ce8035496c59b05ad024ca71f834...
GBDT、XGB、Adaboost面试汇总
Heitao5200的博客
12-27 1008
文章目录1. xgboost相比传统gbdt有何不同？2. xgboost为什么快？3. xgboost如何支持并行？ 1. xgboost相比传统gbdt有何不同？ 传统GBDT以CART作为基分类器，xgboost还支持线性分类器，这个时候xgboost相当于带L1和L2正则化项的逻辑斯蒂回归（分类问题）或者线性回归（回归问题）。 传统GBDT在优化时只用到一阶导数信息，xgboost...
GBDT 以及 xgboost 总结一
nathan1025的博客
02-13 365
GBDT的核心就在于，每一棵树学的是之前所有树结论和的残差，这个残差就是一个加预测值后能得真实值的累加量。 同时GBDT是以决策树（CART）为基学习器的GB算法，是迭代树，而不是分类树。 https://blog.youkuaiyun.com/nathan1025/article/details/81174311 http://djjowfy.com/2017/08/01/XGBoost%E7%9A%...
GBDT和xgboost原理、比较分析、面试总结
weiyaner的博客
12-29 4086
1 前向分步 对于加法模型：f(x)=∑m=1Mβmb(x;γm)f(x)=\sum_{m=1}^{M} \beta_{m} b\left(x ; \gamma_{m}\right)f(x)=m=1∑M​βm​b(x;γm​) 其中, b(x;γm)\mathrm{b}(\mathrm{x;\gamma_m})b(x;γm​) 为基函数, γ m\gamma_\mathrm{~m}γ m​ 为基函数的参数, βm\beta \mathrm{m}βm 为基函数的系数。 损失函数为： min
GBDT和Xgboost总结
becgiggs的专栏
03-04 411
首先从Xgboost的优点说起，从网上搜，很容易搜到Xgboost与一般梯度提升树比， 一个是用了泰勒级数的二次项，一个是增加了惩罚系数，对树的复杂度进行惩罚。 那么问题来了。如果你看李航老师的统计学习方法，里面似乎没有看到泰勒级数，倒是看到了负梯度，拟合附梯度。而传统的树，你制作完成了，也有剪枝的过程。那么xgboost这个二次项体现在哪里？ 首先一个问题。泰勒级数这么优美的公式，为啥唯独在...
XGBoost算法原理简析
datashrimp的博客
10-08 1148
“Young man, in mathematics you don’t understand things. You just get used to them.”
xgboost大白话
最新发布
09-17
<think> 首先，用户的问题是：“我想以通俗易懂的方式了解XGBoost 请问用大白话解释XGBoost”。这要求我用通俗易懂的语言解释XGBoost。 系统级指令要求： - 所有行内数学表达式必须使用$...$格式。 - 独立公式必须使用$$...$$格式并单独成段。 - LaTeX语法正确。 - 使用中文回答。 - 生成相关问题。 - 回答中引用的段落末尾自然地添加引用标识。 用户提供了几个引用： - 引用[1]: 讨论了XGBoost的平衡，树的分裂，正则项。 - 引用[2]: 比较原始GBDT和XGBoost，提到二阶泰勒展开。 - 引用[3]: 一个预测例子。 - 引用[4]: 关于目标函数求解的细节。 用户说：“上述引用仅供参考，并不是用户真正的需求，请尽可能多的参考用户上一次的问题和你的回答。” 回顾对话历史： - 用户上一次的问题是：“参考站内引用:...” 然后要求解释XGBoost。 - 在此之前，对话历史是系统指令和示例，没有用户之前的真正问题，因为这是新对话链的开始。在系统消息中，有示例，但用户第一次消息就是这个。 在对话历史中： - 系统指令：定义了格式。 - 用户消息：引用了几个来源，并说“我想以通俗易懂的方式了解XGBoost”。 所以，我需要专注于用大白话解释XGBoost，参考提供的引用来支持我的解释。 关键点来自引用： - XGBoost是集成学习算法，基于梯度提升树（GBDT），但改进。 - 它平衡训练损失和树的复杂度（正则项）。 - 使用二阶泰勒展开（牛顿法）代替一阶（梯度下降），收敛更快。 - 目标函数包括损失函数和正则化项。 - 求解目标函数时，涉及梯度（一阶导数）和海森矩阵（二阶导数）的计算。 - 树的构建通过分裂节点来优化目标。 我的解释应该通俗易懂： - 避免数学细节，但根据指令，需要正确使用LaTeX。 - 所以，我会在必要时使用简单的数学表达式，但尽量用中文描述。 结构回答： 1. 介绍XGBoost是什么。 2. 解释核心概念：如目标函数、泰勒展开、树的构建。 3. 与GBDT的区别。 4. 简单例子或类比。 5. 结束时生成相关问题。 回答结构： - 清晰、分段。 - 结束时添加相关问题。 引用格式： - 在回答中引用段落末尾添加[^n]，基于提供的引用。 - 例如，提到正则项时引用[^1]。 大纲回答： - 开头：XGBoost是一个强大的机器学习算法，用于回归和分类问题。它是梯度提升决策树（GBDT）的提升版。 - 核心：它通过组合多个弱模型（树）来构建强模型。每个新树纠正前一个树的错误。 - 独特点：XGBoost的目标函数包括两部分：训练损失和正则化项。正则化控制树的复杂度，防止过拟合[^1]。损失函数使用二阶泰勒展开，让它更快收敛[^2]。 - 树的构建：算法选择分裂节点以减少目标函数，考虑梯度信息。 - 求解：通过遍历叶子节点优化权重。 - 结束：总结优点。 相关问题生成： - 类似示例中的格式。 数学表达式： - 行内：如损失函数$L$，正则项$\Omega$。 - 独立公式：如果需要完整目标函数，可以用$$...$$。 目标函数：根据引用[4]和[2]，XGBoost的目标函数是： $$\text{Obj} = \sum_{i=1}^n L(y_i, \hat{y}_i) + \sum_{k=1}^K \Omega(f_k)$$ 其中$L$是损失函数，$\Omega$是正则项。 二阶泰勒展开：近似损失函数为： $$L \approx L_0 + g \cdot \delta + \frac{1}{2} h \cdot \delta^2$$ 其中$g$是一阶导数，$h$是二阶导数。 在通俗解释中，我可能不需要显示公式，但指令要求正确语法，所以如果有数学，要格式化。 尽量用中文描述。 生成相关问题： - 基于主题，如“XGBoost的应用场景？”、“如何调参？”等。 </think> ### 通俗易懂解释 XGBoost XGBoost（eXtreme Gradient Boosting）是一个高效的机器学习算法，主要用于预测问题，比如预测明天航班是否晚点、房价、或者用户是否会点击广告。它属于“集成学习”家族，核心思想是：组合多个简单的预测模型（通常是决策树），让它们共同协作，达到比单个模型更好的效果。想象一下，你有一群朋友（每个朋友代表一棵简单的树），他们各自不太聪明，但聚在一起讨论后，能给出更准确的预测。XGBoost 就是这个聪明团队的“教练”，确保每个人只纠正前一个人的错误，最终提高整体准确性 [^1]。 #### XGBoost 的核心原理（大白话版） 1. **目标函数：平衡“预测准”和“模型简单”** XGBoost 的目标是找到一个模型，既要预测准（损失小），又要模型简单（避免过度复杂）。这就像考试：做题准度高是好事，但用了太多复杂公式（模型复杂）反而容易出错。数学上，目标函数写成： $$\text{Obj} = \text{预测损失} + \text{复杂度惩罚}$$ 其中： - **预测损失**：衡量模型预测和真实数据的差距（例如，真实值 $y_i$ 和预测值 $\hat{y}_i$ 的平方误差）。 - **复杂度惩罚**：控制树的复杂度，比如树太深或叶子太多就扣分，防止过拟合（模型死记硬背数据）。XGBoost 通过正则化项（如 $\Omega(f_k)$）来实现这点，让模型更健壮 [^1][^4]。 2. **用“二阶聪明”代替“一阶聪明”** 原始梯度提升（GBDT）只考虑“一阶梯度”（类似一次导数），就像只用速度计算位置，容易跑偏。XGBoost 升级了：它用“二阶泰勒展开”，同时考虑一阶和二阶梯度（即梯度和曲率），类似用速度和加速度一起计算位置，这样收敛更快、更精确。这类似于牛顿法 vs 梯度下降——牛顿法几步就到终点，梯度下降要绕弯 [^2]。简单说：XGBoost 用更少的树就能达到好效果。 3. **树的构建：分裂节点时要“精打细算”** XGBoost 每次添加一棵新树时，会选一个“分裂点”来优化目标函数。怎么选？它计算每个特征的“增益”（类似收益），增益大的优先分裂。但增益包括两部分： - **损失减少**：分裂后预测误差降低多少。 - **复杂度成本**：分裂增加了树的复杂度（例如，多一个叶子节点就多一份惩罚）。 算法会找平衡点——只做必要分裂，避免不必要的分支 [^1]。例如，目标函数求解时，会把所有叶子节点的梯度信息（$g_i$）加总，统一优化权重（$w_j$），而不是一个个样本算，这样效率更高 [^4]。 4. **整体过程：一步步纠正错误** - 开始时，模型预测一个初步结果（如所有样本的平均值）。 - 然后，添加第一棵树：专注预测当前错误的样本（比如预测偏低的样本）。 - 添加第二棵树：针对第一棵树的错误继续修正... 如此反复，直到添加足够多的树。 - 最终预测是所有树的预测相加。这就像考试复查：第一次检查错了5题，第二次只错3题，逐步逼近满分。 #### 为什么 XGBoost 受欢迎？ - **速度快效率高**：优化了计算，适合大数据（如引用中的地铁晚点预测例子，用Python轻松运行）[^3]。 - **抗过拟合强**：正则化项让模型不过度拟合噪声数据。 - **灵活通用**：可用于分类、回归、排序等问题。 简单总结：XGBoost 是一个“聪明又自律”的决策树团队，通过二阶优化和正则化，用更少的树实现更好的预测。它在Kaggle等竞赛中常拿冠军，是你的数据预测利器！如需代码实例（如Python实现），参考引用[^3]。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值