用sklearn做一个完整的机器学习工程——以波士顿房价预测为例(三、调参,找最优参数)

本文介绍了如何使用sklearn进行机器学习模型的参数调优,以波士顿房价预测为例,详细讲解了GridSearch和RandomizedSearchCV的使用方法,并给出了XGBoost和随机森林的调参示例。通过对模型进行调参,以提高预测准确性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

前言

本来是打算介绍一下:GBDT、XGboost的原理的,看着看着发现网络上的博客资料都不是很全,讲的云里雾里。

建议直接阅读一下Friedman的论文和陈天奇的论文,链接: https://pan.baidu.com/s/14TmsZTorZmOAHEwZU5fiNA 密码: g2g1

下面我要开始介绍sklearn中的调参步骤啦

如果你现在有了一个列表,列表里有几个有希望的模型。你现在需要对它们进行微调。让我们来看sklearn中提供的俩种微调的方法

网格化调整参数和随机参数

由于这里训练时间的关系我只展示 Xgboost的调参和随机森林的调参,GBDT训练的速度有点慢了

GridSearch

网格化调整超参数所需要做的是告诉GridSearchCV要试验有哪些超参数,要试验什么值,GridSearchCV就能用交叉验证试验所有可能超参数值的组合

比如下面对随机森林的网格化调参

from sklearn.model_selection import GridSearchCV

param_grid = [
    
    {'n_estimators': [3, 10, 30], 'max_features': [2, 4, 6, 8]},
    
    {'bootstrap': [False], 'n_estimators': [3, 10], 'max_features': [2, 3, 4]},
  ]

forest_reg = RandomForestRegressor(random_state=42)
# train across 5 folds, that's a total of (12+6)*5=90 rounds of training 
grid_search = GridSearchCV(forest_reg, param_grid, cv=5,
                           scoring='neg
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值