超参数优化库实现可复现研究

执行后端支持

Syne Tune提供通用后端接口和三种实现方式：在本地机器评估试验、在云端评估试验，以及通过表格化基准进行调优模拟以缩短运行时间。切换不同后端仅需向调优器传递不同的trial_backend参数。

本地后端

该后端通过子进程在单台机器上并发评估试验。支持轮换使用多个GPU，将下一个试验分配给最空闲的GPU（即当前运行试验数量最少的GPU）。试验检查点和日志存储于本地文件。

云端后端

单机运行限制了可并发执行的试验数量。针对需要多GPU或多节点分布式训练的神经网络场景，提供基于某云服务的后端实现，可并行运行多个试验。

模拟后端

越来越多的表格化基准可用于超参数优化和神经网络架构搜索研究。模拟后端允许在单CPU实例上执行真实实验，仅需支付决策制定的实际时间成本。通过时间管理器和带时间戳事件优先级队列确保试验与调度器交互的正确顺序。

异步调优算法对比

Syne Tune提供广泛同步和异步超参数优化算法的实现。实验涵盖两类算法：

单保真度算法：需要完整训练运行来评估超参数配置，包括随机搜索（RS）、架构搜索正则化进化（REA）及贝叶斯优化变体（如基于高斯过程的GP和基于密度比的BORE）。

多保真度算法：提前终止无希望的训练运行，包括中位数停止规则（MSR）、异步连续减半（ASHA）和异步贝叶斯优化变体（如BOHB和MOB）。

在多保真度算法中，MSR是唯一未使用连续减半的算法，其表现最差。实验结果显示多保真度算法通常优于单保真度算法，因其能更高效利用计算资源。

超参数迁移学习

通过使用历史超参数优化任务的评估数据预热当前任务，可实现显著的加速效果。Syne Tune通过调度器与迁移学习数据的抽象映射支持基于迁移学习的超参数优化。实验表明边界框量化ASHA（ASHA-BB/ASHA-CTS）、零样本方法（ZS）和RUSH等迁移学习方法能有效加速优化过程。

实验验证

在FCNet、NAS201和LCBench三个神经网络架构搜索基准测试中，多保真度算法的标准化排名均优于单保真度算法。迁移学习方法在不同时间点和基准测试中展现出更低的平均标准化排名（数值越低越好）。

该库使自动化机器学习研究更高效、可靠和可信。通过表格化基准模拟功能，使缺乏大规模计算资源的研究者也能进行超参数优化研究。最新0.3版本新增了超参数优化算法、基准测试集和TensorBoard可视化等功能。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
公众号二维码