16、超参数调优：从黑盒优化到实用方法

超参数调优：从黑盒优化到实用方法

在机器学习和深度学习领域，找到最佳超参数以获得模型的最优性能是一项至关重要的任务。本文将深入探讨黑盒优化问题，以及与之紧密相关的超参数调优，并介绍三种常见的解决方法：网格搜索、随机搜索和贝叶斯优化。

黑盒优化问题概述

超参数调优实际上是更广泛的黑盒优化问题的一个子类。黑盒函数 ( f(x) ) 是一种解析形式未知的函数，我们只能对其进行求值操作，无法获取其他信息，如梯度。黑盒函数的全局优化通常是指在某些约束条件下，寻找 ( f(x) ) 的最大值或最小值。以下是一些黑盒优化问题的实例：
1. 机器学习模型超参数优化 ：为给定的机器学习模型找到能使选定优化指标最大化的超参数。
2. 数值函数最值求解 ：对于只能通过数值计算或无法查看代码的函数，寻找其最大值或最小值。在一些行业场景中，存在复杂的遗留代码，需要根据其输出结果最大化某些函数。
3. 石油钻探选址 ：函数可以是在某个位置能找到的石油量，而 ( x ) 代表位置。
4. 复杂系统参数优化 ：对于难以建模的复杂情况，如火箭发射时，如何优化燃料量、火箭各级直径、精确轨迹等参数。

在神经网络中，寻找最佳超参数构成了一个黑盒问题。因为我们无法计算网络输出相对于超参数的梯度，特别是在使用复杂优化器或自定义函数时，所以需要采用其他方法来找到能使选定优化指标最大化的最佳超参数。

黑盒函数的分类与挑战

黑盒函数通常分为两类：
- 廉价函数