sklearn：GBDT

最新推荐文章于 2023-01-16 12:24:20 发布

原创最新推荐文章于 2023-01-16 12:24:20 发布 · 2k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #sklearn #Python #GBDT

机器学习专栏收录该内容

24 篇文章

订阅专栏

本文介绍了如何在Python中利用sklearn库实现GBDT分类，详细讲解了模型参数的初始化步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、GBDT分类

（1）模型参数初始化：

from sklearn.ensemble import GradientBoostingClassifier

gbdt = GradientBoostingClassifier(
    init=None,
    learning_rate=0.1,
    loss='deviance',
    max_depth=3,
    max_features=None,
    max_leaf_nodes=None,
    min_samples_leaf=1,
    min_samples_split=2,
    min_weight_fraction_leaf=0.0,
    n_estimators=100,
    random_state=None,
    subsample=1.0,
    verbose=0,
    warm_start=False)

（2）训练：X,y为训练集

gbdt.fit(X, y)
（3）据此选重要特征，注：GBDT可以用来进行特征选择
score = gbdt.feature_importances_
for s in score:
  print s
（4）预测，看GBDT的分类效果
result = gbdt.predict(new_test_frature)
overall_accuracy = metrics.accuracy_score(result, y_test)
print overall_accuracy

二、GBDT回归

（1）模型参数初始化：

from sklearn.ensemble import GradientBoostingRegressor

gbdt = GradientBoostingRegressor(
    loss='ls',
    learning_rate=0.1,
    n_estimators=100,
    subsample=1,
    min_samples_split=2,
    min_samples_leaf=1,
    max_depth=3,
    init=None,
    random_state=None,
    max_features=None,
    alpha=0.9,
    verbose=0,
    max_leaf_nodes=None,
    warm_start=False
)
（2）训练：X,y为训练集
gbdt.fit(X, y)
（3）据此选重要特征
score = gbdt.feature_importances_
for s in score:
  print s
（4）预测，看GBDT的分类效果
result = gbdt.predict(new_test_frature)