scikit-learn GBDT参数

最新推荐文章于 2024-07-25 11:55:54 发布

原创

最新推荐文章于 2024-07-25 11:55:54 发布 · 2.1k 阅读

12 ·

CC 4.0 BY-SA版权

本文详细介绍了scikit-learn中的GBDT参数，包括loss（损失函数）、learning_rate（学习率）、n_estimators（弱学习器个数）、subsample（子采样比例）等，并提供了针对不同情况的调参建议。

class sklearn.ensemble.GradientBoostingRegressor(loss='ls', learning_rate=0.1, n_estimators=100, subsample=1.0, criterion='friedman_mse', min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_depth=3, min_impurity_decrease=0.0, min_impurity_split=None, init=None, random_state=None, max_features=None, alpha=0.9, verbose=0, max_leaf_nodes=None, warm_start=False, presort='auto')

loss: 即我们GBDT算法中的损失函数。分类模型和回归模型的损失函数是不一样的：

　　　对于分类模型，有对数似然损失函数"deviance"和指数损失函数"exponential"两者输入选择。默认是对数似然损失函数"deviance"。在原理篇中对这些分类损失函数有详细的介绍。一般来说，推荐使用默认的"deviance"。它对二元分离和多元分类各自都有比较好的优化。而指数损失函数等于把我们带到了Adaboost算法。