超参数搜索之网格搜索与并行搜索

超参数搜索 ：

所谓的模型配置，一般统称为模型的超参数（Hyperparameters），比如KNN算法中的K值，SVM中不同的核函数（Kernal）等。多数情况下，超参数等选择是无限的。在有限的时间内，除了可以验证人工预设几种超参数组合以外，也可以通过启发式的搜索方法对超参数组合进行调优。称这种启发式的超参数搜索方法为网格搜索。

网格搜索

由于超参数的空间是无尽的，因此超参数的组合配置只能是“更优”解，没有最优解。通常，依靠网格搜索（Grid Search）对各种超参数组合的空间进行暴力搜索。每一套超参数组合被代入到学习函数中作为新的模型，并且为了比较新模型之间的性能，每个模型都会采用交叉验证的方法在多组相同的训练和开发数据集下进行评估。

Python源码：

#coding=utf-8
from sklearn.datasets import fetch_20newsgroups
import numpy as np
from sklearn.cross_validation import tr