20、超参数调优：黑盒优化方法解析

超参数调优：黑盒优化方法解析

1. 黑盒优化概述

在机器学习和深度学习中，超参数调优是一个关键问题，它属于更广泛的黑盒优化问题的范畴。黑盒函数 ( f(x) ) 是指其解析形式未知的函数，我们只能获取其在定义范围内所有 ( x ) 值对应的函数值，而无法获取其他信息，如梯度。

1.1 黑盒优化问题示例

• 机器学习模型超参数调优 ：为给定的机器学习模型找到能最大化所选优化指标的超参数。
• 数值函数优化 ：找到只能通过数值计算或无法查看代码的函数的最大值或最小值。例如，在一些行业场景中，可能存在复杂的遗留代码，需要根据其输出最大化某些函数。
• 资源勘探 ：寻找最佳的石油钻探位置，函数表示可开采的石油量，( x ) 表示位置。
• 复杂系统参数优化 ：对于过于复杂难以建模的情况，如发射火箭到太空时，优化燃料量、火箭各级直径、精确轨迹等参数。

1.2 神经网络超参数调优为何是黑盒问题

在神经网络中，由于我们无法计算网络输出相对于超参数的梯度，特别是在使用复杂优化器或自定义函数时，因此需要其他方法来找到能最大化所选优化指标的最佳超参数。如果能获取梯度，我们可以使用梯度下降等算法来寻找最大值或最小值。

1.3 尝试所有可能性的挑战

虽然尝试所有超参数组合似乎是一种解决方案，但在实际应用中往往不可行。例如，训练一个多层神经网络时，考虑以下超参数：
| 超参数 | 取值范围 |