PyTorch/Botorch 入门指南：贝叶斯优化实战教程-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00346/article/details/148578973

PyTorch/Botorch 入门指南：贝叶斯优化实战教程

botorch 项目地址: https://gitcode.com/gh_mirrors/bo/botorch

什么是Botorch？

Botorch是基于PyTorch构建的现代贝叶斯优化库，专为高维参数空间的优化问题而设计。它结合了高斯过程建模和蒙特卡洛采集函数，为研究人员和工程师提供了强大的优化工具。

安装指南

系统要求

在安装Botorch前，请确保满足以下条件：

Python 3.7或更高版本
PyTorch 1.9或更高版本
推荐使用支持CUDA的GPU以获得最佳性能

安装方法

Botorch提供两种主流安装方式：

pip安装（推荐）

pip install botorch

conda安装

conda install botorch -c gpytorch -c conda-forge

安装完成后，建议运行简单测试验证安装是否成功：

import botorch
print(botorch.__version__)

核心组件解析

1. 高斯过程建模

高斯过程是Botorch的核心建模工具，用于构建目标函数的概率模型。以下是一个完整的建模示例：

import torch
from botorch.models import SingleTaskGP
from botorch.models.transforms import Normalize, Standardize
from botorch.fit import fit_gpytorch_mll
from gpytorch.mlls import ExactMarginalLogLikelihood

# 准备训练数据（10个2维样本点）
train_X = torch.rand(10, 2, dtype=torch.double) * 2
# 生成对应的输出值（1维）
train_Y = 1 - (train_X - 0.5).norm(dim=-1, keepdim=True)
train_Y += 0.1 * torch.rand_like(train_Y)  # 添加噪声

# 构建GP模型，包含输入标准化和输出标准化
gp = SingleTaskGP(
    train_X=train_X,
    train_Y=train_Y,
    input_transform=Normalize(d=2),  # 输入维度为2
    outcome_transform=Standardize(m=1),  # 输出维度为1
)

# 定义边际对数似然函数
mll = ExactMarginalLogLikelihood(gp.likelihood, gp)

# 拟合模型
fit_gpytorch_mll(mll)

2. 采集函数

采集函数指导优化过程，决定下一个评估点。Botorch提供多种采集函数：

from botorch.acquisition import LogExpectedImprovement

# 使用对数期望改进（LogEI）采集函数
logNEI = LogExpectedImprovement(model=gp, best_f=train_Y.max())

3. 采集函数优化

优化采集函数获取下一个评估点：

from botorch.optim import optimize_acqf

# 定义搜索边界
bounds = torch.stack([torch.zeros(2), torch.ones(2)]).to(torch.double)

# 优化采集函数
candidate, acq_value = optimize_acqf(
    logNEI, 
    bounds=bounds, 
    q=1,  # 每次获取1个候选点
    num_restarts=5,  # 随机重启次数
    raw_samples=20,  # 初始采样点数
)