XGB算法梳理

最新推荐文章于 2024-11-11 18:36:21 发布
原创 最新推荐文章于 2024-11-11 18:36:21 发布 · 2.1k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

XGBoost是基于GBDT的优化算法，通过不断添加树来拟合残差，防止过拟合。其特点包括对缺失值的处理、正则化项和近似算法。XGBoost的损失函数、节点分裂、正则化和参数如eta、min_child_weight等，都在控制模型复杂度和防止过拟合中起到关键作用。常见应用场景包括分类和回归问题，支持多种平台和分布式处理。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

XGB算法梳理

  1. 算法原理
  2. 损失函数
  3. 分裂结点算法
  4. 正则化
  5. 对缺失值处理
  6. 优缺点
  7. 应用场景
  8. sklearn参数
    XGBoost是基于GBDT(Gradient Boosting Decision Tree) 改进而来的，
    xgboost的基础是梯度提升算法，提升法中最著名的算法包括Adaboost和梯度提升树，梯度提升树可以有回归树和分类树，两者都是以CART树算法为主流，xgboost背后也是CART树，这意味着xgboost中所有树都是二叉树。

该算法思想就是不断地添加树，不断地进行特征分裂来生长一棵树，每次添加一个树，其实是学习一个新函数，去拟合上次预测的残差。当我们训练完成得到k棵树，我们要预测一个样本的分数，其实就是根据这个样本的特征，在每棵树中会落到对应的一个叶子节点，每个叶子节点就对应一个分数，最后只需要将每棵树对应的分数加起来就是该样本的预测值。
在这里插入图片描述
1.算法原理
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
2.损失函数
在这里插入图片描述
3.分裂结点算法
在这里插入图片描述

当数

最低0.47元/天 解锁文章

200万优质内容无限畅学
Jorah
关注
Task3 XGB算法梳理
whut_aoyi 的博客
08-12 517
文章目录Task3 XGB算法梳理1. 算法原理2. 损失函数3. 分裂结点算法4. 正则化5. 对缺失值处理6. 优缺点7. 应用场景8. sklearn参数 Task3 XGB算法梳理 1. 算法原理 2. 损失函数 3. 分裂结点算法 4. 正则化 5. 对缺失值处理 6. 优缺点 7. 应用场景 8. sklearn参数 ...
XGBoost算法原理及Python实现
最新发布
weixin_40411646的博客
05-15 35
XGBoost 是一种基于梯度提升框架的机器学习算法，它通过迭代地训练一系列决策树来构建模型。核心思想是通过不断地在已有模型的基础上，拟合负梯度方向的残差（真实值与预测值的差）来构建新的弱学习器，达到逐步优化模型的目的。XGBoost 在构建决策树时，利用了二阶导数信息。在损失函数的优化过程中，不仅考虑了一阶导数（梯度），还引入了二阶导数（海森矩阵），这使得算法能够更精确地找到损失函数的最优解，加速模型的收敛速度，同时提高模型的泛化能力。
xgb算法原理
吴世俊的博客
04-21 445
xgb算法
算法梳理之XGB
dzysunshine的博客
01-08 2669
1.CART树 1.1原理 所谓CART，也就是Classification And Regression Tree是决策树的一种，并且是非常重要的决策树。CART算法既可以用于创建分类树，也可以用于创建回归树。两者在建树的过程稍有差异。 创建分类树的递归过程中：CART每次都选择当前数据集中具有最小Gini信息增益的特征作为结点划分决策树。ID3算法和C4.5算法虽然在对训练样本集的学习中可以尽...
高级算法梳理-Task3 XGB算法简介
绝体绝命成长之路
05-17 423
本文根据多篇博文整理总结而成 XGBoost（eXtreme Gradient Boosting）--极端梯度提升,XGBoost是boosting算法的其中一种。Boosting算法的思想是将许多弱分类器集成在一起形成一个强分类器。因为XGBoost是一种提升树模型，所以它是将许多树模型集成在一起，形成一个很强的分类器。它是 Gradient Boosting Machine 的一个 c++ ...
XGBOOST算法原理及应用介绍
10-29
比较偏重于理论阐述的工具书，原理解释、数学推导比较详细，可参考论文一起看。
XGBoost算法介绍
热门推荐
Silence的博客
04-05 5万+
XGBoost算法介绍一、简介二、基本原理三、目标函数新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 一、简介   XGBoost(eXtreme Gradient Boosting)又叫极度梯度提升树，是boosting
xgboots算法梳理
weixin_30817749的博客
03-05 618
1.CART树 CART算法流程： 若满足停止分裂条件（样本个数小于预定阈值，或Gini指数小于预定阈值（样本基本属于同一类，或没有特征可供分裂），则停止分裂； 否则，选择最小Gini指数进行分裂； 递归执行1-2步骤，直至停止分裂。 2.算法原理 xgboost对应就是一堆CART树。算法思想就是不断地添加树，不断地进行特征分裂来生长一棵树，每次添加一个树，其实是学习一个新函...
XGBoost算法
YIAN爱学习的博客
11-11 1270
介绍了集成学习中XGBoost算法原理以及使用
机器学习-XGB算法梳理
weixin_42914573的博客
04-08 573
学习目标： 算法原理 损失函数 分裂结点算法 正则化 对缺失值处理 优缺点 应用场景 sklearn参数 1.算法原理 2.损失函数 3.分裂结点算法 4.正则化 5.对缺失值处理 6.优缺点 7.应用场景 8.sklearn参数 ...
算法之XGB文档
杨羊不是羊的博客
07-13 366
中文文档地址：http://xgboost.apachecn.org/cn/latest/ 英文文档地址：http://xgboost.apachecn.org/en/latest/ 中文文档 GitHub地址：https://github.com/apachecn/xgboost-doc-zh
随机森林算法和XGB算法的区别
05-27
随机森林算法和XGBoost算法都是常用的集成学习算法，它们在处理分类和回归问题时表现出色，但它们有以下区别： 1. 树的建立方式不同。随机森林是由多棵树组成，每棵树之间是独立的；而XGBoost只有一棵树，是通过不断地增加树的数量来提升模型性能的。 2. 对样本的处理方式不同。随机森林在每次建立树时使用随机采样的方法选择样本，每棵树都只使用部分数据；而XGBoost会对样本进行加权处理，对于上一次预测错误的样本会进行更多的关注。 3. 特征选择方式不同。随机森林对每个树的建立过程中，每次只使用部分特征，通过多次随机取样来选出最优的特征；XGBoost采用迭代的方式来选取特征，每次选取最优的特征进行分裂。 4. 算法调参方式不同。随机森林中可以通过调整树的个数、随机采样比例等来调整模型；XGBoost中需要调整的参数比较多，包括树的深度、学习率、正则化系数等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值