Grid Search简介

Grid Search简介

​ ​ 跟人聊天时听到Grid Search,一开始还以为误以为是Beam Search了,后来查阅了一下才了解了它的意思。
​ ​ Grid Search是一种调参的手段,即穷举,穷举所有的超参组合。

​ ​ 当你对决策树调参,如果只对一个超参优化,比如树的最大深度,尝试[3, 5, 7]。那么可以表示为

在这里插入图片描述

​ ​ 如果你还想对分裂标准进行调参,分别试试gini和entropy,那么就相当要对2×3=6组参数进行尝试。如下图
在这里插入图片描述

​ ​ 所以这就是为什么叫做gird search,网格搜索。grid search是对网格中每个交点进行遍历,从而找到最好的一个组合。网格的维度就是超参的个数。如果有k个超参,每个超参有m个候选,那么我们就要遍历kmk^mk

### 网格搜索(Grid Search)超参数调优的使用方法 网格搜索是一种系统化地在预定义的超参数空间中搜索最优组合的方法,其核心思想是通过穷举所有可能的参数组合,找到在验证集上表现最佳的参数组合。该方法适用于大多数机器学习模型,尤其是对模型性能影响较大的超参数调优任务[^1]。 在实际操作中,使用网格搜索需要指定一个参数搜索空间,即每个超参数的候选值列表。模型会在这些候选值的所有可能组合上进行训练和评估,并选择表现最优的一组参数作为最终结果。以 `scikit-learn` 库中的 `GridSearchCV` 为例,其基本使用流程如下: ```python from sklearn.model_selection import GridSearchCV from sklearn.ensemble import RandomForestClassifier from sklearn.datasets import load_iris # 加载数据 iris = load_iris() X, y = iris.data, iris.target # 定义模型 model = RandomForestClassifier() # 定义超参数搜索空间 param_grid = { 'n_estimators': [50, 100, 200], 'max_depth': [None, 10, 20], 'min_samples_split': [2, 5] } # 构建 GridSearchCV 对象 grid_search = GridSearchCV(estimator=model, param_grid=param_grid, cv=5, scoring='accuracy', n_jobs=-1) # 执行超参数搜索 grid_search.fit(X, y) # 输出最佳参数和对应得分 print("Best parameters found: ", grid_search.best_params_) print("Best cross-validation score: {:.4f}".format(grid_search.best_score_)) ``` 在上述示例中,`GridSearchCV` 会评估 `RandomForestClassifier` 在不同 `n_estimators`、`max_depth` 和 `min_samples_split` 参数组合下的交叉验证得分,并返回表现最优的参数组合。 网格搜索的优势在于其全面性,能够确保在指定参数空间中找到最优解。然而,其主要缺点是计算开销较大,尤其是在参数空间较大或模型训练时间较长的情况下。因此,在实际应用中,通常建议先使用较粗粒度的网格进行搜索,再逐步细化搜索空间以提高效率。 ###
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值