Xgboost模型之二特征重要性计算及模型的特征选择

这孩子谁懂哈

已于 2022-03-20 20:12:49 修改

阅读量4.8k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Machine Learning Python 文章标签：机器学习

于 2022-03-20 16:13:55 首次发布

本文链接：https://blog.youkuaiyun.com/zhaomengszu/article/details/123615061

本文介绍了如何利用Xgboost进行特征重要性计算，并通过SelectFromModel选择最优特征，以Pima印第安人糖尿病数据集为例，探讨不同特征数量对模型准确性的影响。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

XGBOOST模型对于一些场景有着不错的表现，切提供了一个很多的特征重要性的计算：

准备：

把一些用到的包安装一下，如xgboost,sklearn等

建议使用国内的镜像源，否则106M会让你等很久，

具体可以参考：

pip安装包较慢的解决办法_这孩子谁懂哈的博客-优快云博客

1.使用的 Pima印第安人糖尿病的测试数据集；

下载地址：皮马印第安人糖尿病数据集免费下载分享-机器学习文档类资源-优快云下载

2.计算特征重要性：

# plot feature importance manually
from numpy import loadtxt
from xgboost import XGBClassifier
from xgboost import plot_importance
from matplotlib import pyplot
import sklearn
# load data   FE_pima-indians-diabetes.csv
dataset = loadtxt(r'C:\Users\Administrator\Desktop\pima-indians-diabetes.csv', delimiter=",",skiprows=1)
# split data into X and y
X = dataset[:,0:8]
y = dataset[:,8]
# fit model no training data
m