机器学习算法之超参数的选择、格点搜索与交叉验证

目录

超参数的选择

1. 超参数有哪些

2. 确定调节范围

2.1. 模型

2.2. 学习率

2.3. 正则项系数

3. 交叉验证

3.1. 先粗调，再细调

3.2. 尝试在对数空间内进行调节

3.3. 随机搜索参数值，而不是格点搜索

网格搜索

评分方法

交叉验证

---

超参数的选择

1. 超参数有哪些

　　与超参数对应的是参数。参数是可以在模型中通过BP（反向传播）进行更新学习的参数，例如各种权值矩阵，偏移量等等。超参数是需要进行程序员自己选择的参数，无法学习获得。
　　常见的超参数有模型（SVM，Softmax，Multi-layer Neural Network,…)，迭代算法（Adam,SGD,…)，学习率（learning rate)(不同的迭代算法还有各种不同的超参数，如beta1,beta2等等，但常见的做法是使用默认值，不进行调参）,正则化方程的选择(L0,L1,L2)，正则化系数，dropout的概率等等。

2. 确定调节范围

　　超参数的种类多，调节范围大，需要先进行简单的测试确定调参范围。

2.1. 模型

　　模型的选择很大程度上取决于具体的实际问题，但必须通过几项基本测试。
　　首先，模型必须可以正常运行，即代码编写正确。可以通过第一个epoch的loss估计，即估算第一个epoch的loss，并与实际结果比较。注意此过程需要设置正则项系数为0，因为正则项引入的loss难以估算。
　　其次，模型必须可以对于小数据集过拟合，即得到loss接近于0，acc