还有人不懂XGBoost的缺失值处理？(全面解析篇)

最新推荐文章于 2025-09-16 15:27:39 发布
原创 最新推荐文章于 2025-09-16 15:27:39 发布 · 3.5k 阅读 · 26 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #人工智能 #算法 #python #数据挖掘

本文详细解析了XGBoost如何在训练和预测阶段处理缺失值，包括在gbtree和gblinear模型中的不同策略。在训练阶段，缺失值根据特征非缺失值的分裂规则决定方向；预测阶段则依据训练阶段的记录进行划分。推荐阅读相关论文和源码以深入理解。

先说结论，XGBoost和LightGBM是支持缺失值的

在这里插入图片描述

由于XGBoost和LightGBM对缺失值的处理方法是相同的，因此我们只拿XGBoost来解读

建议大家看下论文，链接：https://www.kdd.org/kdd2016/subtopic/view/xgboost-a-scalable-tree-boosting-system

XGBoost是一种boosting的集成学习模型
在这里插入图片描述
支持的弱学习器（即单个的学习器，也称基学习器）有树模型（gbtree/dart，dart为引入dropout的树模型，下次将详解）和线性模型（gblinear），默认为gbtree。

1、 如果弱学习器为gblinear，由于线性模型不支持缺失值，会将缺失值填充为0；

2、如果弱学习器为gbtree或dart，则支持缺失值，其分裂过程如下。

一、 训练阶段

在训练过程中，如果特征f0f_0f0​出现了缺失值，处理步骤如下：
1、首先对于f0f_0f0​

最低0.47元/天 解锁文章
量化价值投资：因子投资的关键策略解析
AI天才研究院
08-04 838
你是否有过这样的困惑？明明知道“买便宜股票”是价值投资的核心，但面对几千只股票，根本不知道哪些是“真便宜”？跟着大V买低PE股票，结果买了一堆“价值陷阱”（比如连续亏损的公司）？主观判断容易受情绪影响，涨时追高、跌时割肉，最终跑输大盘？传统价值投资依赖投资者的经验和直觉，而量化因子投资则用“数据+模型”解决了这些痛点：它将“便宜”“优质”等模糊概念转化为可量化的指标（比如PE、PB、F-Score），通过回测验证指标的有效性，再用系统化的方式筛选股票。
大数据分析案例-基于XGBoost算法构建电子商务交易欺诈预测模型
m0_64336780的博客
11-13 9351
本实验旨在利用XGBoost算法构建一个电子商务交易欺诈预测模型，通过训练历史交易数据，学习欺诈行为的特征和模式，以实现对新交易的欺诈风险预测，提高电子商务交易的安全性。心得与体会：通过这次Python项目实战，我学到了许多新的知识，这是一个让我把书本上的理论知识运用于实践中的好机会。原先，学的时候感叹学的资料太难懂，此刻想来，有些其实并不难，关键在于理解。在这次实战中还锻炼了我其他方面的潜力，提高了我的综合素质。
xgboost缺失值处理
机器学习、深度学习、文本分类、异常检测、风控等知识的积累和分享
07-10 7825
xgb作为常用的集成模型之一，几乎是风控面试的必考点，其中一个特点是可自行处理缺失值、简化了我们数据的处理流程，那么xgb在训练和预测时是如何处理缺失值的呢？
Xgboost如何处理缺失值
罗伦
02-27 1万+
XgboostXgboost简介Xgboost[1]是由陈天奇提出的一种集成学习方法，要想了解Xgboost，这里建议先了解决策树，再了解GBDT（Gradient boosting descent tree）即梯度提升树，再学习理解Xgboost。推荐学习方式，阅读[1]这篇论文，你将对Xgboost如何处理缺失值，以及模型复杂度控制有更加深刻的理解（注：对论文中正则化方式有疑问，可留言讨论）。...
原始数据有缺失？XGBoost帮你搞定！处理后如何查看？
最新发布
cda2024的博客
09-16 906
在数据科学领域，数据的质量直接影响到模型的性能。然而，现实世界中的数据往往不那么完美，常常存在缺失值的问题。这些缺失值不仅会影响模型的训练效果，还可能导致预测结果的偏差。因此，如何有效地处理缺失值成为了一个重要的研究课题。XGBoost 是一种高效且强大的机器学习算法，它不仅可以处理大规模数据集，还能很好地应对数据中的缺失值问题。本文将详细介绍如何使用 XGBoost 处理数据中的缺失值，并探讨处理后的数据应该如何查看和验证其有效性。
错误的常识？XGBoost缺失值处理（纠错篇）
Alpha_GoGo的博客
06-22 1395
故事是这样的。。。 最近小组在招聘实习生，下面是一次面试对话 我去网上一查，XGBoost的解析文章的确不少。。。 为什么缺失值默认向右子树分裂呢？依据是什么呢？ 找遍所有的解析文章，但均未给出具体的依据或者证明，话术也竟然如此相像。。。 知乎上： 优快云上： 为寻找答案，仔细问了楼主，得到以下的答复： 让我来慢慢破解。。。 破解一：看论文 仔细看了XGBoost的创始人陈天齐的论文， 未说明缺失值默认向右子树分裂呀。。。 论文链...
数据清洗-缺失值填充-对XGBoost参数优化填充
qq_63913621的博客
09-15 1952
该代码使用 XGBoost 算法来填补数据中的缺失值，并通过网格搜索（Grid Search）对 XGBoost 模型的超参数进行优化，以提高预测精度。读取数据：从指定的 CSV 文件中读取数据，并查找所有包含缺失值的列。参数优化设置：定义一组超参数的可能取值范围，供后续的网格搜索使用。这些超参数包括：：树的数量（即弱学习器的数量）。：学习率，控制每次更新的步长大小。max_depth：树的最大深度，控制模型的复杂度。逐列填补缺失值。
使用XGBoost之数据准备（LabelEncoder,One Hot Encode,处理缺失值）
liuzh的博客
03-29 1万+
由于其速度和性能，XGBoost是一种流行的梯度增强实现。 在内部，XGBoost模型将所有问题表示为仅以数值作为输入的回归预测建模问题。如果您的数据是另一种形式的，则必须将其准备成预期的格式。 在本文中，您将了解如何使用Python中的XGBoost库为梯度增强准备数据。 读完这篇文章你就会知道: 如何为分类编码字符串输出变量。 如何使用onehot准备分类输入变量。 如何使用XGBoost自动...
基于SHAP的XGBoost模型可视化与解释方法解析
XGBoost之所以性能优越，得益于其正则化项设计、二阶泰勒展开优化目标函数、列采样与行采样机制、以及对缺失值的自动处理能力。然而，尽管XGBoost具有出色的预测精度，但其内部结构复杂，属于典型的“黑箱模型”，...
集成学习：XGBoost（原理篇）
Lian_Ge_Blog的博客
03-21 1633
关于XGBoost的一个原理总结，足够知道XGBoost是怎么一回事，但是也仅限知道XGBoost是怎么一回事，以后会有更深入的补充。关于代码可以参考参考资料中的代码，原创代码估计很久以后才会有，待续。。。接下来就是LightGBM的总结
数据清洗-缺失值填充-XGboost算法填充
qq_63913621的博客
09-15 1975
XGBoost（eXtreme Gradient Boosting）是一种基于梯度提升的机器学习算法，由 Tianqi Chen 在 2016 年提出。相比其他梯度提升算法，XGBoost 在速度和性能上有显著的提升。XGBoost 是一种集成学习方法，通过组合多个弱学习器（通常是决策树）来构建一个强大的预测模型。
【数据挖掘】XGBoost面试题：与GBDT的区别？为什么使用泰勒二阶展开？为什么可以并行训练？为什么快？防止过拟合的方法？如何处理缺失值？
BetterBench的博客
09-19 1588
是一种基于boosting增强策略的加法模型，训练的时候采用前向分布算法进行贪婪的学习，每次迭代都学习一棵CART树来拟合之前 t-1 棵树的预测结果与训练样本真实值的残差。XGB对GBDT进行了一系列优化，比如损失函数进行了二阶泰勒展开、目标函数加入正则项、支持并行和默认缺失值处理等，在可扩展性和训练速度上有了巨大的提升，但其核心思想没有大的变化。XGB模型的一个优点就是允许特征存在缺失值。
数据预处理之——缺失值处理
Hoolys
03-16 1271
数据预处理之缺失值处理，处理方法：均值填充、KNN填充等。sklearn处理函数介绍。
缺失值需要处理吗
sinat_34971932的博客
12-02 3055
缺失值处理 现实应用中，经常会遇到属性值“缺失”(missing)现象 只使用没有缺失值的样本/属性 ？ 》会造成数据的极大浪费 一、在逻辑回归等需要计算综合值时，缺失值需要处理（分箱时用特殊值替换，然后单独分一箱） 在使用scikit-learn中缺失值需要填充处理。 二、XGboost，LightGBM工具库内部很完善，对缺失值已经做过相应处理。 三、在决策树中，如果使用带缺失值得样例，需解决...
XGBoost缺失值引发的问题及其深度分析
美团技术团队
08-15 4098
总第349篇2019年 第27篇背景XGBoost模型作为机器学习中的一大“杀器”，被广泛应用于数据科学竞赛和工业领域，XGBoost官方也提供了可运行于各种平台和环境...
gbdt,xgb
m0_61478099的博客
04-11 412
XGBoost 提供了多种损失函数的选择，包括回归问题的平方损失函数和分类问题的对数损失函数等，用户可以根据具体的任务需求选择合适的损失函数。- 传统 GBDT 通常采用贪心算法来选择特征的分裂点，但它只考虑了一阶导数，而 XGBoost 还考虑了二阶导数，从而能够更好地逼近目标函数。- XGBoost 使用了一种贪心算法来选择特征的分裂点，通过枚举所有可能的分裂点并选择最优的分裂点，从而得到更精确的分裂。- 传统 GBDT 主要使用平方损失函数和指数损失函数，对于分类问题，一般使用指数损失函数。
XGBoost模型调参、训练、保存、评估和预测
热门推荐
LMTX069的博客
04-20 5万+
xgboost模型调参、训练、保存、评估、预测
泰坦尼克号数据集深度解析：机器学习中的特征与缺失值处理
由于存在缺失值，我们需要采用某种策略来处理，比如填充缺失值（例如使用均值、中位数或者使用模型预测缺失的年龄值），或者选择删除含有缺失值的记录。在机器学习中，年龄是一个重要的特征，它可能会影响一个人的...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Alpha_GoGo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值