sklearn超参数调整方法 [GridSearchCV, RandomizedSearchCV]

最新推荐文章于 2025-10-10 19:38:21 发布

原创

最新推荐文章于 2025-10-10 19:38:21 发布 · 7.1k 阅读

41 ·

CC 4.0 BY-SA版权

文章标签：

#Python #fine-tune model #sklearn

本文介绍了在sklearn中进行模型调整的两种方法：GridSearchCV和RandomizedSearchCV。GridSearchCV通过穷举超参数组合找到最佳模型，而RandomizedSearchCV则在大参数空间中随机搜索。在实践中，这两种方法都可以用于优化模型性能，如随机森林的超参数调整。

模型调整，假设已经找到了一些潜在的模型，下面是几种方法用于模型调整

1. 超参数修改

网格搜索 (grid searh)
一种方法是手动调整超参数(hyperparameters)。
GridSearchCV,参数为你想调整的超参数和该超参数的值。
class sklearn.model_selection.GridSearchCV(estimator, param_grid, scoring=None, fit_params=None, n_jobs=None, iid=’warn’, refit=True, cv=’warn’, verbose=0, pre_dispatch=‘2*n_jobs’, error_score=’raise-deprecating’, return_train_score=’warn’)
参数：
estimator sklearn实现的estimator接口，需要提供score函数，或者有scoring参数
param_id: 字典或字典的列表
[{需要调整的超参数1：超参数的可能的值}, { {需要调整的超参数2：超参数的可能的值}}, ], 注意一个字典内为一组超参数的组合方式
scoring: 误差函数
cv : 将训练集分为多少个folds

属性：

best_params
cv_results_

from sklearn.model_selection import GridSearchCV
param_grid = [
{
    
    'n_estimators': [3, 10, 30], 'max_features': [2, 4, 6, 8]},
{
    
    'bootstrap': [False], 'n_estimators': [3, 10], 'max_features': [2, 3, 4]},
]

forest_reg = RandomForestRegressor()
grid_search = GridSearchCV(forest_reg, param_grid, cv=5,
                          scoring='neg_mean_squared_error')

grid_search.fit(housing_prepared, housing_labels)

sklearn 根据param_grid的值，首先会评估 $\times 4 = 12$ 种n_estimators和max_features的组合方式，接下来在会在bootstrap=False的情况下（默认该值为True），评估 $\times3 =6$ 种12种n_estimators和max_features的组合方式，所以最终会有 $12 + 6 = 18$ 种不同的超参数组合方式,
而每一种组合方式要在训练集上训练5次，所以一共要训练 $18 \times 5 = 90$ 次，当训练结束后，你可以通过best_params_获得最好的组合方式

grid_search.best_params_

out:

{‘max_features’: 8, ‘n_estimators’: 30}

得到最好的模型

grid_search.best_estimator_

out:

RandomForestRegressor(bootstrap=True, criterion=‘mse’, max_depth=None,
max_features=8, max_leaf_nodes=None, min_impurity_decrease=0.0,
min_impurity_split=None, min_samples_leaf=1,
min_samples_split=2, min_weight_fraction_leaf=0.0,
n_estimators=30, n_jobs=1, oob_score=False, random_state=None,
verbose=0, warm_start=False)

如果GridSearchCV初始化时，refit=True（默认的初始化值）,在交叉验证时，一旦发现最好的模型（estimator）,将会在整个训练集上重新训练，这通常是一个好主意，因为使用更多的数据集会提升模型的性能。

cv_results_：将结果存在一个字典里, 可以转化为DataFrame类型，每一行为一种超参数组合方式。

cv = pd.DataFrame(grid_search.cv_results_
cv

# out:



	mean_fit_time	std_fit_time	mean_score_time	std_score_time	param_max_features	param_n_estimators	param_bootstrap	params	split0_test_score	split1_test_score	...	mean_test_score	std_test_score	rank_test_score	split0_train_score	split1_train_score	split2_train_score	split3_train_score	split4_train_score	mean_train_score	std_train_score
0	0.085940	0.025568	0.004391	0.001827	2	3	NaN	{
    
    'max_features': 2, 'n_estimators': 3}	-