12、基于贝叶斯和循环神经网络的超参数优化，助力自动化机器学习高效模型选择

基于贝叶斯和循环神经网络的超参数优化，助力自动化机器学习高效模型选择

一、背景与问题提出

随着计算设备的不断进步，深度学习应用愈发广泛，但人工智能工程师却供不应求。自动化机器学习（autoML）应运而生，成为缓解这一问题的热门解决方案。在autoML中，超参数优化（HPO）是核心技术之一，在神经架构搜索（NAS）和自动模型选择（AMS）中都起着关键作用。

贝叶斯优化（BO）是完成HPO任务最主流的方法，但它需要大量的计算资源。超参数可分为选择性超参数（如优化器）和数值型超参数（如学习率、丢弃率等）。由于选择性超参数会从先前的迭代轮次继承，BO在后续迭代中优化它们所需的资源较少，但在数值型超参数优化上会消耗更多计算资源。随着迭代次数增加，BO虽然收敛速度快，但后续迭代的性能提升有限，且会进行大量不必要的计算，因为它会评估整个全局区域。

二、相关工作

1. 贝叶斯优化和Hyperband（BOHB）
   BO是一种统计模型，常用于autoML的HPO。它有两个主要组件：先验函数和获取函数，先验函数常使用高斯过程（GP）。但GP难以用少量样本点很好地近似目标函数并预测未采样区间的概率分布。因此，在BOHB中，典型的GP被Hyperband取代。BO的输入包括目标模型、目标数据集和训练预算b，HPO的评估标准是使用所执行超参数时目标模型的性能，如验证准确率。
2. Optuna
   Optuna是autoML领域流行的HPO工具，具有轻量级和跨平台的架构。它可以处理任意数量的超参数，但随着超参数种类增加，搜索最优超参数集的复杂度呈指数级增长。因此，实践