机器学习训练营XGBoost学习笔记

最新推荐文章于 2023-02-08 18:01:04 发布
原创 最新推荐文章于 2023-02-08 18:01:04 发布 · 1.5k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#逻辑回归 #python #机器学习

这篇博客详细介绍了XGBoost算法，包括其作为GBDT的集成优化、分类应用，以及特征筛选和参数选择。重点讨论了learning_rate、subsample、colsample_bytree和max_depth等关键参数对模型性能的影响，并提到了特征重要性的评估方法。同时，博主分享了在处理不平衡数据和特征工程中的实践经验，最后提出对调参和特征工程的深入学习需求。
  • 学习知识点概要

1. 什么是XGBoost

2. 如何用XGBoost实现分类

  • 学习内容

1.XGBoost

对GBDT算法的整合包，并行运行决策树，鲁棒性强

XGBoost的主要缺点：

  1. 相对于深度学习模型无法对时空位置建模，不能很好地捕获图像、语音、文本等高维数据。
  2. 在拥有海量训练数据，并能找到合适的深度学习模型时，深度学习的精度可以遥遥领先XGBoost。

这里特别注意其在特征工程中也有很大作用

2.分类

填补缺失值

对离散变量编码[0，len(X)-1],这里将地区转化为数字表示

metircs 用到了混淆矩阵，热力图来表示

3.特征筛选

sns.barplot(y=data_features_part.columns, x=clf.feature_importances_)

 

我们还可以使用XGBoost中的下列重要属性来评估特征的重要性。

  • weight:是以特征用到的次数来评价
  • gain:当利用特征做划分的时候的评价基尼指数
  • cover:利用一个覆盖样本的指标二阶导数（具体原理不清楚有待探究）平均值来划分。
  • total_gain:总基尼指数
  • total_cover:总覆盖

4.参数选择

XGBoost中包括但不限于下列对模型影响较大的参数：

  1. learning_rate: 有时也叫作eta，
最低0.47元/天 解锁文章
机器学习 | Python算法XGBoost
天天酷科研的博客
12-17 853
机器学习 | Python算法XGBoost
机器学习笔记-XGBoost
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
08-01 6810
XGBoost是2016年由华盛顿大学陈天奇老师带领开发的一个可扩展机器学习系统。严格意义上讲XGBoost并不是一种模型，而是一个可供用户轻松解决分类、回归或排序问题的软件包。它内部实现了梯度提升树(GBDT)模型，并对模型中的算法进行了诸多优化，在取得高精度的同时又保持了极快的速度，在一段时间内成为了国内外数据挖掘、机器学习领域中的大规模杀伤性武器。更重要的是，XGBoost在系统优化和机器学习原理方面都进行了深入的考虑。
xgboost学习笔记
herriman的博客
12-12 443
1. 介绍 以前看过一点CNN图像识别，这两天看一下基于树的XGBOOST。先了解其原理，加上自己不成熟的直觉理解，还有几个疑问。最后用一个例子，使用python试用一下，仅作为学习笔记，不系统整理下来，就会看了又看，忘了又看。 我觉得直觉理解的好处是更容易记忆，更容易触类旁通，也容易归纳与推广。有时候解决问题就是直觉+验证的过程 陈天奇在Quora上的解答如下：引用:https://ww...
XGBoost学习笔记
yike330的博客
07-30 326
概念 XGBoost即Extreme Gredient Boosting，是一种基于CART决策树的boosting算法 相比GBDT来说优化迭代的方式不同。GBDT使用损失函数的负梯度近似残差来训练下一棵树； 原理 优化方式 设XGBoost模型为 y^i=∑k=1Kfk(xi)\hat y_i=\sum_{k=1}^Kf_k(x_i)y^​i​=∑k=1K​fk​(xi​) 则第 ttt 次优化的损失函数为 L=∑i=1nL(yi,Ft−1(xi)+ft(xi))+∑k=1K(γTk+12λ∣∣wk∣∣
机器学习——XGBoost原理笔记
一纸枫叶的博客
02-08 8652
XGBoost 算法笔记（自用）
XGboost中的调参经验
weixin_44441131的博客
10-13 1万+
以回归任务为例，首先导入包 from xgboost import XGBRegressor as XGBR # Implementation of the scikit-learn API for XGBoost regression n_estimators: 通过画出n_estimator的学习曲线，这里得出几个重要的结论： 首先，XGB中的树的数量决定了模型的学习能力，树的数量越多，模型的学习能力越强。只要XGB中树的数量足够了，即便只有很少的数据， 模型也能够学到训练数据100%的信息，所以X
阿里天池机器学习训练营-XGBoost
笔记blog
11-03 866
本学习笔记为阿里云天池龙珠计划机器学习训练营的学习内容，学习链接为：https://tianchi.aliyun.com/specials/promotion/aicampml XGBoostXGBoost介绍算法流程基于天气数据集的XGBoost分类实战XGBoost的重要参数XGBoost原理 XGBoost介绍 XGBoost是2016年由华盛顿大学陈天奇老师带领开发的一个可扩展机器学习系统。严格意义上讲XGBoost并不是一种模型，而是一个可供用户轻松解决分类、回归或排序问题的软件包。它内部实现了梯
机器学习训练营-基于XGBoost的分类预测学习笔记
dream__me的博客
11-02 1573
文章目录前言一、学习知识点概要二、学习内容1 XGBoost的应用及优缺点1.1 XGBoost的应用1.2 XGBoost的优缺点2 基于天气数据集的XGBoost分类实战2.1 目的：2.2 数据描述：2.3 代码流程Step1：函数库导入Step2：数据读取/载入Step3：处理异常值填补缺失值对于特征进行一些统计描述部分结果如下：Step4:可视化描述Step5:对离散变量进行编码Step6：利用 XGBoost 进行训练与预测Step7: 利用 XGBoost 进行特征选择Step8: 通过调整参
天池龙珠训练营-机器学习学习笔记-02 XGBoost 分类
qinqinwawa的博客
05-28 371
天池龙珠训练营-机器学习学习笔记-02 XGBoost 分类 本学习笔记为阿里云天池龙珠计划机器学习训练营的学习内容，学习链接为： 训练营网址 一 原理简介： XGBoost本质上还是一个GBDT，但是力争把速度和效率发挥到极致，所以叫X (Extreme) GBoosted。 XGBoost的核心算法思想不难，基本就是： 不断地添加树，不断地进行特征分裂来生长一棵树，每次添加一个树，其实是学习一个新函数f(x)，去拟合上次预测的残差。 当我们训练完成得到k棵树，我们要预测一个样本的分数，其实就是根据这个
XGBoost学习（五）：参数调优
qq_30868737的博客
09-03 1万+
Xgboost参数调优的一般方法 调参步骤： 1，选择较高的学习速率（learning rate）。一般情况下，学习速率的值为0.1.但是，对于不同的问题，理想的学习速率有时候会在0.05~0.3之间波动。选择对应于此学习速率的理想决策树数量。Xgboost有一个很有用的函数“cv”，这个函数可以在每一次迭代中使用交叉验证，并返回理想的决策树数量。 2，对于给定的学习速率和决策树数量，进行决策树特定参数调优（max_depth , min_child_weight , gamma , subsample,c
机器学习D15——xgboost
Dunkle.T的博客
04-04 526
xgboost简介 XGBoost全称是eXtreme Gradient Boosting，可译为极限梯度提升算法。由陈天奇设计，致力于让提升树突破自身的计算极限，以实现运算快速，性能优秀的工程目标。和传统的梯度提升算法相比，XGBoost进行了许多的改进，并且已经被认为是在分类和回归问题上都拥有超高性能的先进评估器。在各平台的比赛中、高科技行业和数据咨询等行业也已经开始逐步使用XGBoost，了解这个算法，已经成为学习机器学习中必要的一环。 性能超强的算法往往有着复杂的原理，XGBoost也不能免俗，因
机器学习：学习XGBoost参数调整
MJ_GOD
04-04 4488
文章目录XGBoost参数调整1 背景2 题目3 解法4 XGboost参数的作用（此处参考大佬的博文，如有雷同请见谅）4.1 常规参数4.2 模型参数4.3 学习任务参数5 参数调整的方法：6 结果7 参考资料 XGBoost参数调整 1 背景 这阵子在学习数据挖掘与机器学习，不过侧重的是机器学习，刚好课堂上的作业是做二分类，以及实训的主要内容也是二分类，暂时对于数据清理部分还没有去深入了解，...
xgboost参数-调参
Vulpes corsac
09-27 2万+
目录 一、xgboost 原生接口 重要参数 训练参数 预测函数 绘制特征重要性 回归例子 二、xgboost 的 sklearn 风格接口 XGBClassifier基本使用 XGBRegressor基本使用 三、xgboost 调参思路 四、参考文章 xgboost 包含原生接口和 sklearn 风格接口两种，并且二者都实现了分类和回归的功能。如果想了解一些理论性的内容，可以看看之前的文章： XGBoost算法的相关知识 一、xgboost 原生接口 重要参数 ...
XGBoost参数调优完全指南（附Python代码）
热门推荐
工药叉的经文
07-19 7万+
XGBoost参数调优完全指南（附Python代码） 原文地址：Complete Guide to Parameter Tuning in XGBoost (with codes in Python) 译注：文内提供的代码和运行结果有一定差异，可以从这里下载完整代码对照参考。另外，我自己跟着教程做的时候，发现我的库无法解析字符串类型的特征，所以只用其中一部分特征做的，具体数值跟文章中不一样
ML之xgboost：利用xgboost算法(特征筛选和GridSearchCV)对数据集实现回归预测
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
04-14 8314
ML之xgboost：利用xgboost算法(特征筛选和GridSearchCV)对数据集实现回归预测 目录 输出结果 实现代码 输出结果 ['EnterCOD', 'EnterBOD', 'EnterAD', 'EnterZL', 'EnterZD', 'EnterPH', 'EnterSS', 'M4', 'N4', 'O4', 'P...
xgboost特征重要性指标: weight, gain, cover
weixin_42775260的博客
07-03 2987
xgboost特征重要性指标: weight, gain, cover 文章转载自： https://blog.youkuaiyun.com/sujinhehehe/article/details/84201415 官方解释 Python中的xgboost可以通过get_fscore获取特征重要性，先看看官方对于这个方法的说明: get_score(fmap=’’, importance_type=‘weight’) Get feature importance of each feature. Importance
特征重要性评估
来自Daisy和她的单程车票
07-07 1605
1、gbdt、xgb 特征重要性源码解释：https://zhuanlan.zhihu.com/p/64759172 2、shap对xgboost特征重要性评估 https://zhuanlan.zhihu.com/p/64799119
面试制胜法宝|实操三大模型算法，這一大特征重要性筛选方法学会了
weixin_45545159的博客
07-14 1647
面试制胜法宝|实操三大模型算法，這一大特征重要性筛选方法学会了
机器学习应用篇（六）——基于天气数据集的XGBoost分类
羊羊的博客
01-10 4855
机器学习应用篇（六）——基于天气数据集的XGBoost分类 文章目录机器学习应用篇（六）——基于天气数据集的XGBoost分类一、XGBoost1 XGBoost的优点2 XGBoost的缺点二、实现过程1 数据集2 实现 一、XGBoost XGBoost并不是一种模型，而是一个可供用户轻松解决分类、回归或排序问题的软件包。 1 XGBoost的优点 简单易用。相对其他机器学习库，用户可以轻松使用XGBoost并获得相当不错的效果。 高效可扩展。在处理大规模数据集时速度快效果好，对内存等硬件资源要求不高
深度解读李宏毅机器学习笔记要点
从给定的信息来看，这份文档文件的标题为“李宏毅机器学习笔记”，这表明文档的主要内容是关于机器学习方面的知识，且可能与李宏毅教授有关。李宏毅是一位在人工智能、机器学习领域有一定研究和教学经验的学者，因此...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值