GridSearchCV与lightGBM、CatBoost

最新推荐文章于 2024-05-23 23:07:51 发布

原创

最新推荐文章于 2024-05-23 23:07:51 发布 · 1.2k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#python #机器学习

该博客介绍了如何利用GridSearchCV进行超参数调优，以提升LightGBM和CatBoost分类器的性能。首先，对LightGBM模型进行交叉验证和网格搜索，寻找最佳的正则化参数。接着，同样使用GridSearchCV对CatBoost模型进行参数调整，包括深度、学习率、L2正则化和折叠长度倍数等。最终，展示了找到的最佳参数组合和模型得分。

GridSearchCV与lightGBM

from sklearn.model_selection import StratifiedKFold #交叉验证
from sklearn.model_selection import GridSearchCV #网格搜索
parameters={
   
   'reg_alpha': [0.1,0.3,0.5,0.7,0.9,1.0],
              'reg_lambda': [0.1,0.3,0.5,0.7,0.9,1.0]
    }
gbm = lgbm.LGBMClassifier(objective = 'multiclass',
                              num_class=4,
                         #is_unbalance = True,
                         #metric = 'binary_logloss,auc',
                         max_depth = 25