sklearn：使用GBDT选择特征

最新推荐文章于 2025-06-29 16:01:44 发布

原创最新推荐文章于 2025-06-29 16:01:44 发布 · 1.5w 阅读

27 ·

CC 4.0 BY-SA版权

文章标签：

#sklearn #机器学习 #Python #GBDT #特征选择

机器学习专栏收录该内容

24 篇文章

订阅专栏

本文介绍了如何利用sklearn库中的GBDT方法进行特征选择。通过训练GBDT模型，可以有效识别出对目标变量影响显著的特征，进一步优化机器学习模型的性能。选取的特征可用于后续的模型训练。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

（1）如何在numpy数组中选取若干列或者行？
>>>import numpy as np
>>>tmp_a = np.array([[1,1], [0.4, 4], [1., 0.9]])
>>>tmp_a
>>>tmp_a[[0,1],:]#选第0、1行
>>>tmp_a[np.array([True, False, True]),:]# 选第0、2行
>>>tmp_a[:,[0]]#选第0列
>>>tmp_a[:, np.array([True, False])]#选第0列

（2）训练GBDT，选取特征，选完之后可以用其他方法继续进行训练。

from sklearn.ensemble import GradientBoostingClassifier
gbdt = GradientBoostingClassifier(
    init=None,
    learning_rate=0.1,
    loss='deviance',
    max_depth=3,
    max_features=None,
    max_leaf_nodes=None,
    min_samples_leaf=1,
    min_samples_split=2,
    min_weight_fraction_leaf=0.0,
    n_estimators=100,
    random_state=None,
    subsample=1.0,
    verbose=0,
    warm_start=False)
print "fit start!"
gbdt.fit(X[499:], y[499:])
print "fit success!"


score = gbdt.feature_importances_
print gbdt.feature_importances_.shape

#选择importance>0的特征

X_new = X[:, gbdt.feature_importances_>0]
X_new.shape

注：X为数据特征，y为标记的类别。用X[499：]，y[499:]对GBDT进行训练。然后如果该特征的gbdt.feature_importances_>0，则该特征保留，否则，则把该特征删除，从而达到选取特征的效果。