机器学习笔记（五）：XGBoost

最新推荐文章于 2025-10-16 11:51:55 发布
原创 最新推荐文章于 2025-10-16 11:51:55 发布 · 244 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

此博客为机器学习笔记，聚焦于XGBoost。虽内容待续，但可推测后续会围绕XGBoost在机器学习中的应用、原理等信息技术相关内容展开。

待续……

机器学习笔记-XGBoost
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
08-01 6804
XGBoost是2016年由华盛顿大学陈天奇老师带领开发的一个可扩展机器学习系统。严格意义上讲XGBoost并不是一种模型，而是一个可供用户轻松解决分类、回归或排序问题的软件包。它内部实现了梯度提升树(GBDT)模型，并对模型中的算法进行了诸多优化，在取得高精度的同时又保持了极快的速度，在一段时间内成为了国内外数据挖掘、机器学习领域中的大规模杀伤性武器。更重要的是，XGBoost在系统优化和机器学习原理方面都进行了深入的考虑。
梯度下降法python+numpy实现
xiaoxy97的博客
10-11 2856
批量梯度下降法(Batch Gradient Descent, BGD)：使用所有样本在当前点的梯度值来对变量参数进行更新操作。 随机梯度下降法(Stochastic Gradient Descent, SGD)：在更新变量参数的时候，选取一个样本的梯度值来更新参数。 小批量梯度下降法(Mini-batch Gradient Descent, MBGD)：集合BGD和SGD的特性，从原...
【数学建模学习笔记】机器学习回归：XGBoost回归
YZYZYYNO_2的博客
09-04 1182
《XGBoost回归简明教程》摘要：XGBoost是一种集成学习方法，通过多棵决策树协同工作逐步修正预测误差。本教程以房价预测为例，演示完整流程：1）数据预处理（处理类别特征、缺失值、标准化）；2）划分训练/测试集；3）构建XGBoost回归模型；4）评估模型性能（MSE、R²）；5）可视化特征重要性。XGBoost优势在于自动处理混合特征、快速并行计算和提供特征重要性分析，适合初学者处理回归问题。
Python机器学习笔记：XgBoost算法
SeaSky_Steven的博客
04-15 1938
转载：https://www.cnblogs.com/wj-1314/p/9402324.html 前言 1，Xgboost简介 　　Xgboost是Boosting算法的其中一种，Boosting算法的思想是将许多弱分类器集成在一起，形成一个强分类器。因为Xgboost是一种提升树模型，所以它是将许多树模型集成在一起，形成一个很强的分类器。而所用到的树模型则是CART回归树模型。 　　X...
机器学习——学习笔记：XGBoost
最新发布
m0_63637984的博客
10-16 681
XGBoost（Extreme Gradient Boosting）是一种集成学习算法，核心思想是"三个臭皮匠顶个诸葛亮"——通过组合多个"弱模型"（通常是决策树），形成一个"强模型"（2）并行优化：虽然树是串行训练的，但XGBoost会并行处理特征，训练速度极快（这也是"Extreme"的由来）（1）逐步纠错：每次训练新的决策树时，都专注于修正之前所有树的"错误"（通过计算损失函数的梯度）XGBoost是机器学习领域的"瑞士军刀"，几乎能解决所有结构化数据（表格数据）的问题：。
机器学习笔记8：XGBoost
weixin_30952103的博客
08-02 402
目录 1 回顾一下决策树 2 XGBoost举例 2.1 问题和结果 2.2 第一棵树的计算方法 2.3 第二棵树的计算方法 3 XGBoost公式推导 3.1 第一种理解公式 3.2 第二种理解公式 ...
【数学建模学习笔记】机器学习分类：XGBoost分类
YZYZYYNO_2的博客
09-04 700
XGBoost是一种集成学习算法，通过多个弱分类器（如决策树）接力修正错误，最终组合成强分类器。本文以红酒分类为例，演示了XGBoost的完整实现流程：数据预处理（标准化、标签编码）、模型训练、性能评估（准确率达94%），以及特征重要性分析。结果显示，XGBoost不仅分类准确率高，还能识别关键特征，是高效的机器学习工具。
机器学习笔记：初识XGBoost (XGBoost分类器代码实验)
chenxy_bwave的专栏
12-29 8280
XGBoost( eXtreme Gradient Boosting：极限梯度提升)是基于决策树的集成机器学习算法，它以梯度提升（Gradient Boost）为框架，由GBDT发展而来。它的主要目标是提升模型运行的速度和有效性(efficiency)。本文不涉及更深的理论介绍（感兴趣者可以去读原论文, Ref3提供了一个不错的解读），仅限于基于代码实验简要介绍如何构建你的第一个XGboost应用模型。
python xgboost_Python机器学习笔记：XgBoost算法
weixin_39805851的博客
12-03 413
完整代码及其数据，请移步小编的GitHub传送门：请点击我如果点击有误：https://github.com/LeBron-Jian/MachineLearningNote前言1，Xgboost简介Xgboost是Boosting算法的其中一种，Boosting算法的思想是将许多弱分类器集成在一起，形成一个强分类器。因为Xgboost是一种提升树模型，所以它是将许多树模型集成在一起，形成一个很强的...
机器学习：XGBoost模型（升级版）——高效且强大的树形模型
weixin_74268817的博客
11-12 4536
介绍一个现实生活中常用的、强大的XGBoost模型。文章涉及XGBoost的基本原理、实现步骤、优缺点、应用场景，方便大家一起学习。文章如有错误，欢迎大噶指正！
机器学习学习笔记8：银行客户流失预测
2202_75369126的博客
07-31 1569
本研究基于银行客户数据集构建了多种机器学习模型预测客户流失。通过数据预处理（异常值处理、SMOTE过采样）和特征工程后，对比了决策树、逻辑回归、XGBoost和神经网络的性能。结果显示XGBoost表现最佳（AUC=0.92，F1=0.67），SHAP分析发现年龄、产品数量、活跃度和性别是重要特征。研究为银行客户关系管理提供了有效预测工具，并建议未来扩展数据维度、尝试深度学习方法以进一步提升模型性能。
机器学习系列6：XGBoost
baymax
05-13 545
XGBoost是Extreme Gradient Boosting的简称，Gradient Boosting是论文”Greedy Function Approximation: A Gradient Boosting Machine”中介绍的梯度提升算法。Boosting Tree树数据挖掘和机器学习中常用算法之一，其对输入要求不敏感，效果好，在工业界用的较多。 Traing loss + Re...
机器学习笔记精要：理论与实践的融合指南
资源摘要信息:"机器学习笔记" 该笔记内容涵盖机器学习的基础理论和实践应用，强调学习问题、概率论、概率分布、线性回归模型、增强学习、NLP等关键领域的核心概念和方法。知识点详细列举如下： 1. 公开课/读书笔记...
数据不平衡：下采样、上采样python代码实现
热门推荐
xiaoxy97的博客
09-29 2万+
一、下采样 所有数据存在DataFrame对象df中。数据分为两类：多数类别和少数类别，数据量相差大。数据预处理已将多数类别的Label标记为1，少数类别的Label标记为0。从多数类中随机抽取样本（抽取的样本数量与少数类别样本量一致）从而减少多数类别样本数据，使数据达到平衡的方式。 import numpy as np import pandas as pd def lower_sam...
机器学习笔记（七）：SVM
xiaoxy97的博客
10-11 2026
一、前导 1、最优化问题 最优化问题一般是指对于某一个函数而言，求解在其指定作用域上的全局最小值问题，一般分为以下三种情况(备注：以下几种方式求出来的解都有可能是局部极小值，只有当函数是凸函数的时候，才可以得到全局最小值)： ①无约束问题：求解方式一般求解方式梯度下降法、牛顿法、坐标轴下降法等； ②等式约束条件：求解方式一般为拉格朗日乘子法 拉格朗日乘子法求解 ③不等式约...
机器学习笔记（六）：聚类算法
xiaoxy97的博客
10-03 1371
一、聚类算法总括 1.1  定义 对大量未标注的数据集按数据内部存在的数据特征划分为多个不同类别，使类别内数据比较相似，类别间数据相似度比较小。 1.2  和分类算法区别 分类算法：有监督学习 聚类算法：无监督学习 1.3  样本相似度度量 1.3.1  闵可夫斯基距离(Minkowski) a. p=1：曼哈顿距离 b. p=2：欧氏距离（常用） c. p为无穷大：切比雪...
机器学习标准化处理小技巧
xiaoxy97的博客
07-09 520
数据标准化 StandardScaler (基于特征矩阵的列，将属性值转换至服从正态分布) 标准化是依照特征矩阵的列处理数据，其通过求z-score的方法，将样本的特征值转换到同一量纲下 常用与基于正态分布的算法，比如回归 数据归一化 MinMaxScaler （区间缩放，基于最大最小值，将数据转换到0,1区间上的） 提升模型收敛速度，提升模型精度 常见用于神经网络 Normalizer...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值