贝叶斯优化在超参数优化中的应用

贝叶斯优化（Bayesian Optimization）是一种高效的超参数自动搜索方法，核心逻辑是通过 “智能猜测” 替代盲目尝试，利用概率模型学习超参数与模型性能的关系，不断聚焦 “可能最优” 的超参数区域，从而在有限迭代次数内找到接近最优的解。相比网格搜索（穷举）和随机搜索（盲目采样），它更适合高维度、评估成本高（如训练耗时久）的超参数优化场景。

一、核心原理：用 “概率模型” 指导搜索

贝叶斯优化的本质是建立 “超参数组合→模型性能” 的概率映射，并基于这个映射选择下一个最值得尝试的超参数组合。具体来说：

1. 假设我们要优化的超参数为  x （如学习率、树深度等），模型在验证集上的性能为  f(x) （如准确率、AUC 等，即 “目标函数”）。
2. 由于  f(x)  计算成本高（需训练模型并评估），无法直接求解最优  x ，因此用一个 “替代模型”（surrogate model）来近似  f(x) ，并通过 “采集函数”（acquisition function）从替代模型中选择下一个  x  进行评估。
3. 每评估一个新的