25、贝叶斯优化与连续学习方法的综合解析

贝叶斯优化与连续学习方法的综合解析

1. 贝叶斯优化：混合类型输入编码方法

在处理混合类型输入的优化问题时，贝叶斯优化是一种强大的工具。下面我们将详细介绍相关的基准方法、评估指标、性能和计算时间。

1.1 基准方法与评估指标

我们采用了多种基准方法进行实验，包括 TPE、SMAC、CoCaBO、one-hot encoding BO 和 RandomOrderBO。对于基于高斯过程（GP）的贝叶斯优化，使用 Matern 5/2 核和 UCB 采集函数。在 CoCaBO 中，将混合核参数 λ 设置为 0.5。所有优化试验都从 24 个初始点开始。

以下是优化问题的相关信息：
| 问题 | 输入 x = [h, z] | 输入值 |
| — | — | — |
| Ackley - 5C | c = 5, d = 1
h = [17, …, 17]5
z = [z1] | -1 + 1/8 × hi
[-1, 1] |
| HartmannSix - 6C | c = 4, d = 2
h = [17, …, 17]4
z = [z1, z2] | 1/16 × hi
[0, 1]2 |
| Michalewicz - 4C | c = 4, d = 1
h = [17, …, 17]4
z = [z1] | 1/16 × π × hi
[0, π] |
| SVM - Diabetes | c = 1, d = 2
h1: kernel
z1: C
z2: epsilon | {