21、超参数调优：随机搜索、粗细优化与贝叶斯优化

超参数调优：随机搜索、粗细优化与贝叶斯优化

在超参数调优领域，有多种方法可供选择，每种方法都有其独特的优势和适用场景。本文将详细介绍随机搜索、粗细优化和贝叶斯优化等方法，帮助你更好地理解和应用这些技术。

1. 随机搜索与网格搜索

随机搜索在平均情况下优于网格搜索。随机搜索得到的值通常更接近真实的最大值。尤其在处理多维变量空间时，随机搜索和网格搜索的差异会更加明显，而超参数调优实际上往往是一个多维优化问题。因此，在可能的情况下，应优先使用随机搜索。

2. 粗细优化

粗细优化是一种有助于网格搜索或随机搜索的优化技巧。以下是其具体步骤：
1. 在区域 $R_1 = (x_{min}, x_{max})$ 内进行随机搜索，将找到的最大值记为 $(x_1, f_1)$。
2. 考虑 $x_1$ 周围的一个较小区域 $R_2 = (x_1 - \delta x_1, x_1 + \delta x_1)$，再次在该区域内进行随机搜索，将找到的最大值记为 $(x_2, f_2)$。
3. 围绕 $x_2$ 重复步骤 2，在区域 $R_3$ 内进行随机搜索，其中 $\delta x_2$ 小于 $\delta x_1$，将找到的最大值记为 $(x_3, f_3)$。
4. 围绕 $x_3$ 重复步骤 2，在区域 $R_4$ 内进行随机搜索，其中 $\delta x_3$ 小于 $\delta x_2$。
5. 按需重复上述步骤，直到区域 $R_{i + 1}$ 中的最大值 $(x_i, f_i)$ 不再变化。

通常，只需进行一到两次迭代，但理论上可以进行多次迭代。这种方法的问题在于，你无法确定真实的最大值