网格搜索和交叉验证

在介绍网格搜索和交叉验证以前先要介绍下什么是机器学习的超参数。

我们常说的机器学习的参数指的是和特征相关的系数，超参数指的是对于模型的整体规划具有重要意义的指标：例如支持向量机中的乘法因子C（用于权衡经验风险和模型复杂度），当支持向量机核函数是为径向基RBF核函数，对应的钟型函数的宽度gamma就是核函数对应的超参数。只有当这两个超参数都确定的条件下，对相应支持向量机模型喂给数据后就能自动将模型参数-特征系数训练出来。

但是如何确定模型中的超参数（比方说是径向基支持向量机中的超参数C和gamma）？

将机器学习模型需要确立的超参数进行列表操作，框定这些超参数的取值范围。当模型只对应于一个超参数时就是一维坐标，当对应于两个超参数时就可以构建二维坐标，设计每个超参数的优化步进值，得到超参数的网格分离。

遍历搜寻网格中的每一对超参数（这个就是网格搜索法，也叫做暴力搜寻），对于每一对超参数进行评估，得到评估分数指标，将各对超参数的评估指标进行比对，得到最优超参数对，选出来用于模型训练。

对于每一对参数对进行指标评估就是使用交叉验证法了

将数据集分割为训练集和测试集，验证集在交叉验证中没有用。将分割后得训练集进行k个子集的分割，每一次将一个子集取为验证集，其余子集为训练集，共得到k种情况下的训练数据集分割；在当前的超参数条件下，使用k种情况的数据集对于模型进行训练，得到k个模型，使用相应验证集对于这k个模型进行预测结果分析得到k个正确率指标，将这k个正确率指标进行平均作为当前超参数条件下的对应分数。

总结来说交叉验证是为了对于使用当前超参数进行训练的模型的好坏的评估

需要使用网格搜索法将每一种可能的超参数对应的分数进行计算，比对后用于超参数的选择