超参数搜索之网格搜索与并行搜索

最新推荐文章于 2025-11-05 11:13:03 发布

原创

最新推荐文章于 2025-11-05 11:13:03 发布 · 1.3w 阅读

13 ·

CC 4.0 BY-SA版权

文章标签：

#超参数搜索 #网格搜索 #并行搜索

通过Python多线程并行技术进行网格搜索，相同36项任务耗时仅1.2分钟，保持82.27%最高分类准确率，运算速度提升近3倍。后续将介绍Pipeline相关内容。

超参数搜索 ：

所谓的模型配置，一般统称为模型的超参数（Hyperparameters），比如KNN算法中的K值，SVM中不同的核函数（Kernal）等。多数情况下，超参数等选择是无限的。在有限的时间内，除了可以验证人工预设几种超参数组合以外，也可以通过启发式的搜索方法对超参数组合进行调优。称这种启发式的超参数搜索方法为网格搜索。

网格搜索

由于超参数的空间是无尽的，因此超参数的组合配置只能是“更优”解，没有最优解。通常，依靠网格搜索（Grid Search）对各种超参数组合的空间进行暴力搜索。每一套超参数组合被代入到学习函数中作为新的模型，并且为了比较新模型之间的性能，每个模型都会采用交叉验证的方法在多组相同的训练和开发数据集下进行评估。

Python源码：

#coding=utf-8
from sklearn.datasets import fetch_20newsgroups
import numpy as np
from sklearn.cross_validation import train_test_split
from sklearn.svm import SVC
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.pipeline import Pipel