数学建模学习-高斯过程回归(Gaussian Process Regression)教程(28)

FFMXjy

已于 2025-01-19 16:29:23 修改

阅读量952

点赞数 21

分类专栏：数学建模学习-传统算法、机器学习、深度学习系列课程文章标签：数学建模学习回归

于 2025-01-19 15:21:35 首次发布

本文链接：https://blog.youkuaiyun.com/FFMXjy/article/details/145243269

版权

数学建模学习-传统算法、机器学习、深度学习系列课程专栏收录该内容

49 篇文章

订阅专栏

数学建模学习-高斯过程回归(Gaussian Process Regression)教程(28)

写在最前

注意本文的相关代码及例子为同学们提供参考，借鉴相关结构，在这里举一些通俗易懂的例子，方便同学们根据实际情况修改代码，很多同学私信反映能否添加一些可视化，这里每篇教程都尽可能增加一些可视化方便同学理解，但具体使用时，同学们要根据实际情况选择是否在论文中添加可视化图片。

系列教程计划持续更新，同学们可以免费订阅专栏，内容充足后专栏可能付费，提前订阅的同学可以免费阅读，同时相关代码获取可以关注博主评论或私信。

算法简介

高斯过程回归（Gaussian Process Regression，GPR）是一种非参数化的概率机器学习方法，它基于贝叶斯理论，用于解决回归问题。与传统的回归方法不同，GPR不仅能给出预测值，还能提供预测的不确定性估计。

高斯过程可以被看作是一个随机函数的分布，它的任意有限个点的联合分布都是多维高斯分布。形式化地说，如果函数f(x)服从高斯过程，那么：

f(x) ~ GP(m(x), k(x, x’))

其中：

m(x)是均值函数，表示先验期望
k(x, x’)是核函数（协方差函数），定义了不同输入点之间的相关性

算法特点

概率预测
- 不仅给出点预测，还提供预测的不确定性
- 可以计算预测的置信区间
- 适合处理小样本数据集
非参数化
- 模型复杂度随训练数据量自适应调整
- 不需要预先指定模型结构
- 灵活性强，可以拟合各种非线性关系
贝叶斯框架
- 自然融入先验知识
- 可以进行在线学习和增量更新
- 具有良好的理论基础
核函数选择
- 通过不同核函数捕捉数据特征
- 可以组合多个核函数
- 超参数可以通过最大似然估计优化

环境准备

首先需要安装必要的Python包：

# requirements.txt
numpy>=1.19.2
matplotlib>=3.3.2
scikit-learn>=0.24.2

安装命令：

pip install -r requirements.txt

基本实现

让我们从一个简单的例子开始，使用GPR拟合带噪声的正弦函数：

import numpy as np
import matplotlib.pyplot as plt
from sklearn.gaussian_process import GaussianProcessRegressor
from sklearn.gaussian_process.kernels import RBF, ConstantKernel as C

# 生成示例数据
np.random.seed(42)
X = np.linspace(0, 10, 20).reshape(-1, 1)
y = np.sin(X) + np.random.normal(0, 0.1, X.shape)

# 定义高斯过程回归模型
kernel = C(1.0, (1e-3, 1e3)) * RBF([1.0], (1e-2, 1e2))
gpr = GaussianProcessRegressor(kernel=kernel, n_restarts_optimizer=10, random_state=42)

# 训练模型
gpr.fit(X, y)

# 预测
X_test = np.linspace(0, 10, 100).reshape(-1, 1)
y_pred, sigma = gpr.predict(X_test, return_std=True)

这段代码展示了GPR的基本使用流程：

首先生成带噪声的训练数据
定义核函数（这里使用RBF核与常数核的乘积）
创建并训练GPR模型
在测试点上进行预测，获得预测均值和标准差

基本预测结果如下：

[外链图片转存中…(img-gT2iBgzP-1737271241656)] 在这里插入图片描述

在图中，红点表示训练数据，蓝线表示预测均值，浅蓝色区域表示95%置信区间。可以看到，GPR不仅准确拟合了数据，还给出了预测的不确定性估计。

核函数的影响

核函数是GPR中最重要的组成部分，它定义了数据点之间的相似度。不同的核函数参数会导致不同的预测结果：

kernels = [
    C(1.0) * RBF([0.1]),  # 短长度尺度
    C(1.0) * RBF([1.0]),  # 中等长度尺度
    C(1.0) * RBF([3.0])   # 长长度尺度
]

不同长度尺度的效果对比：

在这里插入图片描述

从左到右，长度尺度逐渐增加：

短长度尺度：预测更加灵活，但可能过拟合
中等长度尺度：平衡了灵活性和平滑性
长长度尺度：预测更加平滑，但可能欠拟合

噪声处理

GPR天然具备处理噪声数据的能力。我们可以通过设置不同的噪声水平来观察模型的表现：

noise_levels = [0.05, 0.1, 0.3]
for noise in noise_levels:
    y_noisy = np.sin(X) + np.random.normal(0, noise, X.shape)
    gpr = GaussianProcessRegressor(kernel=kernel, alpha=noise**2)
    gpr.fit(X, y_noisy)