16、超参数优化：算法、方法与开源库解析

超参数优化：算法、方法与开源库解析

在机器学习和深度学习领域，超参数优化（HPO）是提升模型性能的关键步骤。本文将深入探讨自动超参数优化的工作流程、常见算法、通用方法以及一些开源的HPO库。

自动超参数优化工作流程

自动超参数优化系统就像一个黑盒，用户只需向其提交HPO请求，系统就能处理所有执行过程。用户需要提供待优化的超参数及其取值空间，例如学习率从[0.005, 0.1]中选取，数据集批量大小从{8, 16, 32, 64, 128, 256}中选取。同时，还需指定要运行的训练代码、评估方法、训练目标数值和试验预算，如本次实验总共进行24次试验。

当HPO实验启动后，系统会调度所有试验并管理训练执行，同时运行HPO算法为每次试验提出超参数值。当试验预算耗尽或达到训练目标时，系统会返回一组最优超参数值。HPO算法和试验并行化是自动HPO的关键要素，高效的HPO算法能让我们将宝贵的计算资源集中在更有可能是最优的超参数值上。

由于手动HPO效率低下，自动HPO已成为主流方法。为简洁起见，后续内容中“HPO”均指“自动超参数优化”。

常见HPO算法

大多数HPO算法可分为三类：无模型优化、贝叶斯优化和多保真度优化。

无模型优化方法

• 网格搜索 ：用户先为每个超参数指定一组有限的值，如学习率{0.1, 0.005, 0.001}，然后评估这些集合的笛卡尔积（即网格）。当超参数数量增多或参数配置空间变大时，所需的评估次数会呈指数级增长，且该方法效率低下，会在非最优配置空间浪费大量计算资源，而对最优空间的计算不足。