自动机器学习超参数优化新方法获奖

某中心在首届AutoML会议上荣获最佳论文奖

论文提出了一种停止超参数优化过程的新准则。

在首届自动化机器学习会议（AutoML）上，我与同事因提出一种决定何时终止贝叶斯优化的新方法而获得最佳论文奖。贝叶斯优化是一种广泛使用的超参数优化方法。

超参数用于配置机器学习模型，对其性能产生关键影响。决策树模型中决策树的深度和数量，或神经网络中层的数量和宽度，都是超参数的例子。优化超参数需要使用不同的超参数配置多次重新训练模型，以确定最佳配置。

超参数优化的收敛准则

机器学习模型的目标是对未见数据产生良好预测。这意味着好的模型将最小化某些泛化误差f。例如，总体风险衡量模型对给定输入的预测与真实值之间的预期距离。

超参数优化算法总是在某种预算下运行——限制其可以考虑的配置数量、挂钟时间、相对于当前最佳配置的改进幅度等。算法的目标是在预算耗尽之前最小化理想配置γ与能找到的最佳配置γt之间的距离。该距离称为遗憾值rt：rt = f(γt*) - f(γ*)。遗憾值量化了超参数优化算法的收敛性。

然而，发现配置的质量是根据f的经验估计（记为f-hat）来判断的。经验估计是在验证集上计算的，验证集是模型训练数据的一个子集。如果验证集与整体数据集具有不同的分布，则相对于真实泛化误差，经验估计存在统计误差。

我们的新停止准则基于这样的观察：特定超参数配置评估的准确性取决于经验估计f-hat的统计误差。如果统计误差大于遗憾值，则没有必要进一步优化配置。虽然可以继续提高验证集上的性能，但考虑到分布不匹配，实际上可能会损害整体数据集上的性能。

遗憾值边界与统计误差估计

我们论文的核心涉及在既不知道遗憾值也不知道统计误差的情况下建立停止准则。我们的工作适用于贝叶斯优化，这是一种样本高效的超参数优化方法，意味着它需要相对较少的超参数评估。

首先，我们基于超参数配置与性能相关函数的输出值服从正态分布的假设，证明了遗憾值的上下界。这实际上是超参数优化中的标准假设。

然后，我们根据在交叉验证期间观察到的统计方差来估计经验估计的统计误差。交叉验证是将数据集划分为固定数量的相等子集的过程，每个子集依次作为验证集，其余子集作为训练数据。交叉验证也是超参数优化中的常见过程。

因此，我们的停止准则是统计误差超过遗憾值上下界之间的距离。

我们在两个不同的决策树模型（XGBoost和随机森林）和一个深度神经网络上，使用两个不同的数据集测试了我们的方法，并与五个基线进行了比较。结果各不相同，但平均而言，我们的方法最好地优化了模型准确性与超参数优化时间消耗之间的权衡。

论文提供了验证终止准则的技术细节和我们进行的实验。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）