20、超参数调优：黑盒优化方法解析

超参数调优：黑盒优化方法解析

1. 黑盒优化概述

黑盒优化是一个广泛的问题类别，在这个类别中，我们面对的黑盒函数 $f(x)$ ，其解析形式是未知的。我们只能获取该函数在定义范围内所有 $x$ 值对应的函数值，而无法获取其他信息，如梯度。通常，黑盒函数的全局优化意味着在某些约束条件下，寻找 $f(x)$ 的最大值或最小值。

1.1 黑盒优化问题示例

• 机器学习模型超参数调优 ：为给定的机器学习模型找到能使选定优化指标最大化的超参数。
• 数值函数优化 ：找到只能通过数值计算或无法查看代码的函数的最大值或最小值，例如在一些复杂的遗留代码中，需要根据函数的输出结果来最大化某些函数。
• 资源勘探 ：在石油勘探中，确定最佳的钻探位置，这里的函数表示可开采的石油量，$x$ 表示位置。
• 复杂系统参数优化 ：在火箭发射等复杂情况下，优化燃料量、火箭各级直径、精确轨迹等参数。

1.2 神经网络超参数调优为何是黑盒问题

在神经网络中，由于我们无法计算网络输出相对于超参数的梯度，特别是在使用复杂优化器或自定义函数时，需要采用其他方法来找到使选定优化指标最大化的最佳超参数。如果能获取梯度，我们就可以使用梯度下降等算法来寻找最大值或最小值。

1.3 黑盒函数分类

黑盒函数通常分为两类：
| 函数类型 | 特点 |
| ---- | ---- |