高斯过程 Gaussian Process

原创 于 2023-10-30 11:54:47 发布 · 409 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #人工智能

本文介绍了高斯过程(GP)在回归中的应用，包括其作为多元正态分布的表示，以及边缘分布和条件分布的概念。重点讲解了核函数的作用，如何选择和优化，以及在Matlab中的实际应用，涉及长度尺度、输出尺度和噪声标准差等参数的解释。

What does GP do?

  • GP是一种回归方法，但也能够用来分类和聚类
  • 均值表示数据最有可能出现的位置

多变量高斯分布

  • X ∼ N ( μ , Σ ) X\sim N(\mu,\Sigma) X∼N(μ,Σ): 包含的信息有每个变量的均值和协方差矩阵
  • 均值决定分布中心
  • 协方差矩阵确定形状

Marginalization & Conditioning

  • 高斯过程的基础：边缘分布和条件分布依然是高斯
    • 边缘分布：从联合概率分布分离出一个随机变量的概率分布
    • 条件分布：从两个变量的概率分布得到条件随机变量的概率分布

高斯过程

  • 函数的离散化表示：
    • test point: 我们感兴趣预测的一系列离散的、具体的点
  • 高斯过程是一个随机过程，是一个随机变量序列。假设这个序列的长度为 n n n，则这些序列就构成一个 n n n维高斯分布
  • 高斯过程将训练点 Y Y Y和测试点 X X X放在一起建模为一个 n = ∣ X ∣ + ∣ Y ∣ n=|X|+|Y| n=∣X∣+∣Y∣维的高斯分布
  • 把这个过程看做一个贝叶斯推断问题：随着新信息的获取而更新假设

获取 n n

最低0.47元/天 解锁文章
ALL 2 WELL
关注
高斯过程GP(Gaussian Process)：定义在连续域上的无限多个高维随机变量所组成的随机过程（无限维高斯分布）
u013250861的博客
08-30 530
机器学习-白板推导系列(二十)-高斯过程GP(Gaussian Process)_哔哩哔哩_bilibili
高斯过程 Gaussian Processes for Machine Learning
AI天才研究院
08-11 1197
大数据时代已经来临，互联网公司、科技公司、政府部门都在大量运用机器学习技术进行各种各样的分析。由于数据的复杂性、高维特征的存在以及非线性关系的难以捉摸等原因，传统机器学习模型往往在分类任务中表现不佳。而随着深度学习的兴起，近年来一些神经网络的提出，大大促进了机器学习的进步。然而深度学习面临着两个重要的问题：（1）优化目标设计困难；（2）数据量大导致计算资源过载。本文将介绍一下“高斯过程”(Gaussian Process)及其在机器学习中的应用，并阐述其优越性以及如何利用该方法解决现实问题。
高斯过程（Gaussian Processes）原理
ting_qifengl的博客
11-30 5万+
高斯过程（Gaussian Processes, GP）是概率论和数理统计中随机过程的一种，是多元高斯分布的扩展，被应用于机器学习、信号处理等领域。博主在阅读了数篇文章和博客后才算是基本搞懂了GP的原理，特此记录。本文目前暂对高斯过程的公式推导和高斯过程回归原理及其优缺点进行讲解和阐述，后续根据个人学习进度再更新源码等内容。 一、一维高斯分布 我们从最简单最常见的一维高斯分布开始。 众所周知，一维高斯分布，又叫一维正态分布的概率密度函数为： 式中，表示均值，表示方差，均值和方差唯一的决定了曲线的
透彻理解高斯过程Gaussian Process (GP)
热门推荐
冯喆--AI工匠
08-18 7万+
透彻理解高斯过程Gaussian Process (GP) 一、整体说说 为了理解高斯过程，我们就首先需要准备一下预备知识，即：高斯分布、随机过程以及贝叶斯概率等。明白了这些预备知识之后才能顺利进入高斯过程，了解高斯过程本质及其高斯过程描述方法。人们又将高斯过程与贝叶斯概率有机结合在一起，构造了强大的数学方法（或称模型），为人类提供解决日常生活和工作的问题。特别是在人工智能领域更是意义非凡。为...
机器学习——高斯过程
qq_27436347的博客
04-24 1605
高斯过程 所谓高斯，即高斯分布 所谓过程，即随机过程 高斯分布 一维高斯 p(x)=N(μ,σ2)p(x)=N(\mu, \sigma^2)p(x)=N(μ,σ2) 高维高斯 多元高斯分布——高斯网络 x∈Rpx\in \mathbb{R}^px∈Rp p(x)=N(μ,Σ),Σp×p,p<inf⁡p(x)=N(\mu,\Sigma),\Sigma_{p\times p},p&amp...
万字总结复杂而奇妙的高斯过程！
lsxxx2011的专栏
07-09 3032
高斯过程的理论知识非参数方法的基本思想高斯过程的基本概念高斯过程的Python实现使用Numpy手动实现使用`Scikit-learn`实现高斯过程小结高斯过程GaussianProce...
AlphaGo Zero用它来调参？【高斯过程】到底有何过人之处？
大数据文摘
01-17 1187
大数据文摘作品编译：丁慧、文明、Katherine Hou、云舟高斯过程可能不是当前机器学习最火的研究方向，但仍然在很多前沿的研究中被使用到——例如，最近在AlphaGo Zero中自动调整MCTS超参数就使用了它。在建模能力和进行不确定性估计方面，它们具有非常高的易用性。然而，高斯过程很难掌握，尤其是当你习惯了深度学习中其他常见的模型之后。所以本文希望在具备相当少的ML知识背景下，对高斯过程提供
20 高斯过程 Gaussian Process
cengjing12的博客
06-11 1101
本小节我们将进入Gaussian Process 的学习。Gaussian 自然指的就是Gaussian Distribution，而Process 指的就是随机过程。在一维的 Gaussian Distribution 中我们可以令 p(x)=N(μ,σ2)p(x)=\mathcal{N}\left(\mu, \sigma^{2}\right)p(x)=N(μ,σ2) 。如果 对应到高维高斯分布的话，也就是 (Multivariate Gaussian Distribution) 也就是我们通常意义上说的
【数理基础】Gaussian Process(GP)高斯过程与Gaussian Process Regression(GPR)高斯过程回归
weixin_60734652的博客
09-12 754
假设是一个连续域，对于中的每一个点，都有一个其对应的变量。如果我们任意选取一组点，都有对应变量的联合分布服从多维高斯分布（注意当只选取一个点时则服从一维高斯分布），那么就将称为一个高斯过程。由于是连续域，可以随机去任意多点，因此可以看做是在这个连续域上的无限维高斯分布。在实际采样时，我们无法采样无限多的点，因此假设我们每次采样的位置是注意每个点对应的是一个随机变量而不是一个具体的值。
高斯过程
我的博客
08-22 9051
高斯过程 (GP) 是一种常用的监督学习方法，旨在解决回归问题和概率分类问题。 高斯过程模型的优点如下： 预测内插了观察结果（至少对于正则核）。 预测结果是概率形式的（高斯形式的）。这样的话， 人们可以计算得到经验置信区间并且据此来判断是否需要修改（在线拟合，自适应） 在一些区域的预测值。 通用性: 可以指定不同的:ref:内核(kernels)&lt...
高斯过程介绍
11-19
详细介绍高斯过程的具体含义，具体实现过程
高斯过程(Gaussian Process)
龙行天下的博客
08-25 1677
高斯过程是对函数的分布进行建模，给定数据 (X,Y)(\mathbf{X}, \mathbf{Y})(X,Y) , 高斯过程便是得到从空间 X\mathbf{X}X 到空间 y\mathbf{y}y 的概率性映射，假设 fff 为所需求得的函数分布，考虑到存在一定的噪声干扰，则从 X\mathbf{X}X 到 y\mathbf{y}y 的概率性映射可表示为： y=f(X)+ϵ,ϵ∼N(0,β−1I) \mathbf{y}=f(\mathbf{X})+ \boldsymbol{\epsilon}, \bol
高斯过程（Gaussian Process）
Vic_Hao的博客
04-19 4889
Introduction 要了解GP的本质及其描述方法。将GP和贝叶斯概率结合在一起，可以构造强大的数学模型。高斯过程的一些优势： GP属于无参数模型，相对解决问题的复杂度及与其它算法比较减少了算法计算量。 GP可以解决高维空间（实际上是无限维）的数学问题，可以面对复杂的数学问题。 结合贝叶斯概率算法，可以实现通过先验概率，推导未知后验输入变量的后验概率。由果推因的概率。 GP观测变量空间是连续...
高斯过程 (Gaussian Process)
calvinpaean的博客
12-11 6343
本博客转载自https://blog.youkuaiyun.com/u010016927/article/details/76856036 **针对机器学习的高斯过程（Gaussian Process for Machine Learning，即GPML）**是一个通用的监督学习方法，主要被设计用来解决回归问题。它可以拓展为概率分类（probability classification），但是在当前的实现中，...
高斯过程（一）
Jony0917的专栏
04-17 865
高斯分布 X=[X1X2⋮Xn]∼N(μ,Σ)X = \begin{bmatrix} X_1 \\ X_2 \\ \vdots \\X_n \end {bmatrix} \sim \mathcal{N}(\mu, \Sigma)X=⎣⎢⎢⎢⎡​X1​X2​⋮Xn​​⎦⎥⎥⎥⎤​∼N(μ,Σ) 称XXX 服从高斯分布，μ\muμ表示n维高斯分布的期望。 Σ=Cov(Xi,Xj)=E[(Xi−μi)(Xj−μj)]\Sigma = Cov(X_i,X_j) = E[(X_i-\mu_i)(X_j-\mu_j)]
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值