24、混合类型输入的贝叶斯优化编码方法

混合类型输入的贝叶斯优化编码方法

在机器学习和优化领域，黑盒函数优化是一个常见且重要的问题。传统的贝叶斯优化（BO）算法通常假设目标函数定义在数值输入空间上，但在许多实际应用中，决策变量往往包含混合的数值和分类输入，这给传统BO算法的应用带来了挑战。本文提出了两种基于编码方法的简单高效的方法：目标均值编码BO（TmBO）和聚合编码BO（AggBO），以解决这些挑战。

背景知识

• 黑盒函数优化 ：指的是没有封闭形式目标函数的问题，只能在每个查询输入点评估函数值。这类问题存在于许多领域，如材料设计和自主规划。
• 贝叶斯优化（BO） ：是一种高效的顺序优化方法，用于解决昂贵的全局优化问题。它通过迭代拟合一个替代模型，并根据该模型选择新的查询点。在每次迭代中，BO主要包括两个阶段：
  • 替代模型建模 ：通常假设目标函数是一个由高斯过程（GP）模型建模的平滑函数。GP模型由均值函数和核函数表征，常用的核函数是Matern 5/2核。通过拟合观测数据到GP模型，可以得到目标函数在搜索空间中任意点的预测高斯分布的均值和方差。
  • 采集函数 ：用于决定下一个点的评估，它基于GP模型构建，以平衡对当前最优区域的利用和对潜在有前途区域的探索。常见的采集函数包括EI（预期改进）和UCB（上置信界）。

相关工作

处理分类和连续输入的BO方法

• 独热编码