什么是贝叶斯优化（Bayesian Optimization）？

原创

已于 2024-07-30 17:43:05 修改 · 1.6w 阅读

126 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #神经网络 #学习

于 2024-07-30 17:39:55 首次发布

该文章已生成可运行项目，

贝叶斯最优化（Bayesian Optimization）是一种用于函数全局最优化的策略，特别适用于那些计算代价昂贵的黑箱函数（如机器学习模型的超参数调优）。其核心思想是通过构建一个代理模型（通常是高斯过程或随机森林），逐步选择最优的参数，从而有效地找到全局最优解。贝叶斯最优化能够在不需要大量计算资源的情况下，有效探索参数空间，具有更高效、更严密的特点。

贝叶斯最优化的原理

初始采样：
- 随机选择一些参数点，并计算对应的目标函数值。
- 这些点和目标函数值将用于初始化代理模型。
构建代理模型：
- 使用高斯过程（Gaussian Process, GP）或随机森林（Random Forest）等方法，构建目标函数的代理模型。高斯过程常用，因为它不仅能预测函数值，还能提供预测不确定性。
代理模型优化：
- 使用代理模型预测新的参数点的目标函数值和不确定性。
- 基于这些预测，计算一个采集函数（Acquisition Function），如期望改进（Expected Improvement, EI），上置信界（Upper Confidence Bound, UCB）等。采集函数用来平衡探索（exploration）和开发（exploitation）之间的权衡。
  - 探索：选择那些不确定性较大的点，希望发现新的好点。
  - 开发：选择那些预计目标函数值较好的点，利用已有信息改进最优解。
更新代理模型：
- 在采集函数的指导下选择下一个参数点，计算其目标函数值。
- 将新的数据点加入已有的数据集中，更新代理模型。
重复迭代：
- 重复步骤3和4，逐步缩小参数空间，找到最优参数。
- 迭代过程在达到预设的迭代次数或收敛条件时结束。

贝叶斯最优化的优势

高效性：
- 贝叶斯最优化通过代理模型有效地探索参数空间，减少了直接计算目标函数的次数，适合计算昂贵的优化问题。
平衡探索与开发：
- 通过采集函数，贝叶斯最优化能很好地平衡探索未知区域和利用已知好区域，避免陷入局部最优。
不确定性量化：
- 高斯过程能提供预测不确定性，这有助于更好地指导采样过程。

应用领域

贝叶斯最优化广泛应用于机器学习中的超参数调优，如：

深度学习模型中的超参数调优（学习率、批量大小、网络结构等）。
机器学习算法（如支持向量机、随机森林等）的参数设置。
强化学习中的策略优化。

总之，贝叶斯最优化在处理高维、非凸、计算代价昂贵的优化问题时，提供了一种高效且严密的方法。

示例

# -*- coding: utf-8 -*-
import numpy as np
import matplotlib.pyplot as plt
from sklearn.gaussian_process import GaussianProcessRegressor
from sklearn.gaussian_process.kernels import Matern
from scipy.optimize import minimize
from scipy.stats import norm

# 目标函数：f(x, y) = \sin(x) + \cos(y)
def objective_function(x):
    return np.sin(x[0]) + np.cos(x[1])

# 采集函数：期望改进
def acquisition_function(x, gp, y_max):
    mean, std = gp.predict(np.array([x]), return_std=True)
    z = (mean - y_max - 0.01) / std
    return (mean - y_max - 0.01) * norm.cdf(z) + std * norm.pdf(z)

# 绘制目标函数热力图
x = np.linspace(-5, 5, 100)
y = np.linspace(-5, 5, 100)
X, Y = np.meshgrid(x, y)
Z = np.sin(X) + np.cos(Y