XGBoost的两种使用方式（1. sklearnAPI的库 2. XGBoost的原生库）及其区别

最新推荐文章于 2024-09-07 09:42:54 发布
原创 最新推荐文章于 2024-09-07 09:42:54 发布 · 5.5k 阅读 · 22 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #机器学习 

# 导入库文件和数据集
from sklearn.datasets import load_boston 
from sklearn.metrics import r2_score,mean_squared_error,mean_absolute_error,accuracy_score,precision_score, recall_score 
from sklearn.model_selection import train_test_split 
import math 

boston_data = load_boston() 
X = boston_data.data 
y = boston_data.target 
X_train,X_test,y_train,y_test = train_test_split(X,y,test_size=0.3,random_state=420)

1. sklearnAPI的库的使用方式

from xgboost
最低0.47元/天 解锁文章
机器学习-Sklearn（第三版）Day11 XGBoost
weixin_43902376的博客
12-28 1188
作为工程能力强，效果优秀的算法，XGBoost应用广泛并且原理复杂。可以意识到，XGBoost的难点在于它是一个集大成的模型。它所涉及的知识点和模型流程，多半在其他常用的机器学习模型中出现过：如树的迭代过程，其实可以和逻辑回归中的梯度下降过程进行类比；如剪枝的过程，许多都可以与随机森林和决策树中的知识进行对比。
【sklearn学习】集成算法之XGBoost
qq_41807261的博客
04-06 4995
XGBoost是一个以提升树为核心的算法系统 XGBoost中包含Boosting三要素 损失函数：用以衡量模型预测结果与真实结果的差异 弱评估器：决策树，不同的boosting算法使用不同的建树流程 综合集成结果：集成算法具体如何输出集成结果 原生代码必须使用XGBoost自定义的数据结构DMatrix，能够保证xgboost算法运行更快，并且能够迁移到GPU上运行。 以字典形式设置参数 使用xgboost中自带的方法xgb.train或xgb.cv进行训练 # lightgbm原生接口
XGBoost 重要参数、方法、函数理解及调参思路（附例子）
热门推荐
VariableX的博客
07-09 5万+
文章目录一、xgboost 原生接口重要参数训练参数预测函数绘制特征重要性分类例子回归例子二、xgboost 的 sklearn 风格接口XGBClassifier基本使用例子XGBRegressor基本使用例子三、xgboost 调参思路 xgboost 包含原生接口和 sklearn 风格接口两种，并且二者都实现了分类和回归的功能。如果想了解一些理论性的内容，可以看看之前的文章：XGBoost算法的相关知识 一、xgboost 原生接口 重要参数 1，booster 用于指定弱学习器的类型，默认值为 ‘
xgboost算法教程(两种使用方法)
weixin_34054931的博客
09-22 2269
标签： xgboost 作者：炼己者 ------ 欢迎大家访问我的简书以及我的博客 本博客所有内容以学习、研究和分享为主，如需转载，请联系本人，标明作者和出处，并且是非商业用途，谢谢！ ------ 大家如果感觉格式看着别扭的话，也可以去我的简书里看，这里面markdown的编辑效果不错 1.摘要 xgboost 是个很棒的算法，基本上遇到分类问题，都会先拿xgboost跑一跑，因为它的...
Xgboost 两种使用方式
aliexie2869的博客
05-20 325
原生形式使用Xgboost(import xgboost as xgb) from sklearn import datasets from sklearn.model_selection import train_test_split import xgboost as xgb import numpy as np from sklearn.metrics import precisi...
sklearn与XGBoost库xgboost算法参数总结
帅泽泽的博客
12-27 4701
1 sklearn与XGBoost 1.2 xgboost库与XGB的sklearn API 1.3 XGBoost的三大板块 2 梯度提升树 2.1 提升集成算法：重要参数n_estimators 2.2 有放回随机抽样：重要参数subsample 2.3 迭代决策树：重要参数eta 3 XGBoost的智慧 3.1 选择弱评估器：重要参数booster 3.2 XGB的目标函数：重要参数objective 3.3 求解XGB的目标函数 3.4 参数化决策树 ：参数alpha， lambda 3.5 寻
python xgboost用法_XGBoost类库使用小结
weixin_42467411的博客
01-14 1471
在XGBoost算法原理小结中，我们讨论了XGBoost的算法原理，这一片我们讨论如何使用XGBoost的Python类库，以及一些重要参数的意义和调参思路。1. XGBoost类库概述XGBoost除了支持Python外，也支持R，Java等语言。本文关注于Python的XGBoost类库，安装使用"pip install xgboost"即可，目前使用的是XGBoost的0.90版本。XGBo...
XGBoost线性回归工控数据分析实践案例（Sklearn接口篇）
肖永威的专栏
08-13 6266
XGB Regressor工控实践。
XGBoost Python实战
Y学习使我快乐V的博客
08-20 1万+
一. 前言 在XGBoost基本原理博文中我们介绍了XGBoost的基本原理，本篇博文我们将介绍XGBoost的基本使用方法，作为新手的学习参考。  本文使用kaggle上的泰坦尼克数据集，只是对XGBoost的使用做一个简单的描述，若想知道Kaggle的整个竞赛流程以及在竞赛中如何使用XGBoost进行预测的话，关注本博客，以后会陆续推出与竞赛内容相关的博客及代码。kaggle的泰坦尼克的数...
Xgboost版本对比（原生版与sklearn接口版）
dzysunshine的博客
08-21 6978
文章目录1. 分别使用两个版本对同一个数据集进行测试1.1 数据集的准备1.2 用两个版本设定相同的参数，对数据集进行训练1.3 将评估结果打印出来2. 两个版本的区别参考 看过别人使用Xgboost会发现它是由有两个版本的，分别是xgboost的python版本有原生版本和为了与sklearn相适应的sklearn接口版本，现在就简单总结下二者的区别。 这里放上Xgboost中文文档，以及XGB...
xgboost原生接口和sklearn的区别
大数据ING的博客
09-20 1566
1、区别如图： 2、 （1）原生形式使用Xgboost(import xgboost as xgb) from sklearn import datasets from sklearn.model_selection import train_test_split import xgboost as xgb import numpy as np from sklearn.metrics import precision_score, recall_score # 加载数据 iris .
Xgboost建模
aliexie2869的博客
06-02 3300
xgboost参数 选择较高的学习速率(learning rate)。一般情况下，学习速率的值为0.1。但是，对于不同的问题，理想的学习速率有时候会在0.05到0.3之间波动。选择对应于此学习速率的理想决策树数量。XGBoost有一个很有用的函数“cv”，这个函数可以在每一次迭代中使用交叉验证，并返回理想的决策树数量。 对于给定的学习速率和决策树数量，进行决策树特定参数调优(max_d...
xgboost的原生版本与sklearn 接口版本对比
lu_linux的博客
05-24 1118
xgboost的python版本有原生版本和为了与sklearn相适应的sklearn接口版本 原生版本更灵活，而sklearn版本能够使用sklearn的Gridsearch，二者互有优缺，现使用sklearn自带的boston数据集做简单对比如下： 1 准备数据 #导入包 from sklearn import datasets import pandas as pd import xgboost as xgb from sklearn.metrics import mean_squared_
原生xgboost与sklearn里的xgboost
kaggle expert，全球排名前1000，清华计算机研究生，兴趣算法工程
04-12 1921
要知道现在有两个主要的xgboost来源，一个是原生xgboost，另一个是sklearn里的xgboost，先开一篇，等有时间写
xgboost的使用简析
John159151的专栏
05-07 2万+
前言——记得在阿里mllib实习的时候，大家都是用mllib下的GBDT来train model的。但由于mllib不是开源的，所以在公司外是不能够使用。后来参加kaggle比赛的时候，认识到一个GDBT好用的工具，xgboost，所以就认真地学习了一下。 github地址：https://github.com/dmlc/xgboost
XGBoost库的使用
ifhuke的博客
09-22 1439
XGBoost 库的使用，sklearn风格，以及原生Python API风格,XGBoost的调参
PYTHON中XGBOOST的使用
宋建国的博客
06-05 2万+
1.数据读取 利用原生xgboost库读取libsvm数据 import xgboost as xgb data = xgb.DMatrix(libsvm文件) 使用sklearn读取libsvm数据 from sklearn.datasets import load_svmlight_file X_train,y_train = load_svmlight_file(libs...
【机器学习】XGBoost的用法和参数解释
qq_51933234的博客
09-07 2829
这里只是简单介绍了 XGBoost的简单用法和一些参数的含义，方便大家入门学习，而XGBoost本身的运用与实践是很广泛的，后期我也会出一些XGBoost实战的案例，分享给大家！！！
xgboost原生接口和Scikit-learn接口有什么区别
最新发布
08-13
XGBoost是一种广泛使用的梯度提升框架，其提供了两种主要的接口：原生API（Native API）和Scikit-learn风格的API。这两种接口在功能和使用上各有特点，适用于不同的应用场景。 ### 功能差异 1. **模型定义与训练** XGBoost的原生API使用`xgboost.train`函数进行模型训练，需要显式地构造`DMatrix`数据结构来存储特征和标签。这种方法在处理大规模数据时效率较高，并支持更多底层配置选项。相比之下，Scikit-learn接口使用`XGBClassifier`或`XGBRegressor`类，直接接受NumPy数组或Pandas DataFrame作为输入，更易于集成到Scikit-learn的工作流中[^1]。 2. **参数设置** 原生API使用字典形式传递参数，包括通用参数（如`booster`）、提升器参数（如`eta`, `max_depth`）以及任务相关参数（如`objective`, `eval_metric`）。Scikit-learn接口则将这些参数映射为类的构造参数，例如`n_estimators`, `learning_rate`, `max_depth`等，使得参数设置更直观，符合Scikit-learn用户的习惯[^1]。 3. **交叉验证与早停机制** 原生API内置了交叉验证函数`xgboost.cv`，可以方便地进行K折交叉验证，并支持早停机制（early stopping）。Scikit-learn接口则依赖Scikit-learn的交叉验证工具（如`GridSearchCV`, `RandomizedSearchCV`），并通过`early_stopping_rounds`参数在`fit`方法中启用早停功能。 4. **模型评估与预测** 原生API在训练过程中可以指定多个评估指标，并在每一轮迭代中输出评估结果。Scikit-learn接口则通过`score`方法提供标准的评估方式（如准确率、均方误差等），并且`predict`方法返回的结果可以直接用于Scikit-learn的评估函数。 5. **模型保存与加载** 原生API支持使用`save_model`和`load_model`方法进行模型持久化，文件格式通常为`.model`。Scikit-learn接口则兼容Scikit-learn的`joblib`或`pickle`机制，支持更灵活的模型保存方式。 ### 使用差异 1. **易用性** Scikit-learn接口遵循Scikit-learn的统一接口规范，适合已经熟悉Scikit-learn生态的用户。原生API虽然功能强大，但在参数设置和数据预处理方面较为繁琐。 2. **性能与灵活性** 原生API在某些高级配置（如自定义损失函数、评估函数）方面更为灵活，适合需要精细控制模型训练过程的场景。Scikit-learn接口在大多数情况下已经足够使用，但在某些特定需求下可能不如原生API灵活[^1]。 3. **集成能力** Scikit-learn接口更容易与Scikit-learn的其他组件（如`Pipeline`, `ColumnTransformer`）集成，支持端到端的机器学习流程。原生API则需要额外的封装才能实现类似功能。 4. **文档与社区支持** Scikit-learn接口由于其广泛的使用率，在社区支持和文档资源方面较为丰富。原生API虽然也有详尽的文档，但在某些特定问题的解决方案上可能需要更多的探索。 ### 示例代码 #### 原生API示例 ```python import xgboost as xgb from sklearn.datasets import load_boston from sklearn.model_selection import train_test_split # 加载数据 data = load_boston() X_train, X_test, y_train, y_test = train_test_split(data.data, data.target, test_size=0.2, random_state=42) # 构造DMatrix dtrain = xgb.DMatrix(X_train, label=y_train) dtest = xgb.DMatrix(X_test, label=y_test) # 设置参数 params = { 'objective': 'reg:squarederror', 'eval_metric': 'rmse', 'max_depth': 3, 'eta': 0.1 } # 训练模型 bst = xgb.train(params, dtrain, num_boost_round=100) # 预测 preds = bst.predict(dtest) ``` #### Scikit-learn API示例 ```python from xgboost import XGBRegressor from sklearn.datasets import load_boston from sklearn.model_selection import train_test_split # 加载数据 data = load_boston() X_train, X_test, y_train, y_test = train_test_split(data.data, data.target, test_size=0.2, random_state=42) # 构造模型 model = XGBRegressor( objective='reg:squarederror', max_depth=3, learning_rate=0.1, n_estimators=100 ) # 训练模型 model.fit(X_train, y_train) # 预测 preds = model.predict(X_test) ``` ### 总结 XGBoost的原生API和Scikit-learn接口各有优劣。原生API在灵活性和性能优化方面更具优势，适合需要深度定制模型训练过程的用户。Scikit-learn接口则在易用性和集成能力方面表现更佳，适合希望快速构建和部署模型的用户。选择哪种接口取决于具体的应用场景和个人偏好。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值