Gaussian Process dynamic programming笔记

最新推荐文章于 2025-03-18 23:05:27 发布
原创 最新推荐文章于 2025-03-18 23:05:27 发布 · 675 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#高斯回归

本文探讨了Bayesian方法在强化学习（RL）与最优控制（OptimalControl）领域的应用，强调了Bayesian方法通过概率理论处理不确定性的特性。文章对比了RL与最优控制的不同之处，特别是在先验知识的需求方面，并讨论了参数化函数逼近器的局限性，如径向基函数网络。此外，文中还提到了超参数求解、策略学习以及分段训练等关键概念。

该论文于2009年发表在Neurocomputing上，论文作者Marc Peter Deisneroth

摘要部分：主要介绍了RL与Optimal Control的区别：针对Optimal Control需要先验知识；A classic optimal control problem, whereproblem-specific prior knowledge is available, and a classic RL problem, whereonly very general priors can be used.

引言部分：Bayesian method的主要特点--利用概率理论确定统计数据的不确定性。需要注意的一点就是径向基函数（radial basis function networks）也是一种参数化函数逼近器，参数化函数逼近器的主要问题是：在处理数据之前，函数的模型已经确定好了。引言中提到的几篇有关高斯回归应用在控制中的几篇论文需要阅读。

应用evidence maximization 求解超参数时包含有正则化项和loss function 这一项。利用V值实现状态的连续化，利用Q值实现动作的连续化。所以在构建Q值函数的时候是固定状态量，只跟动作有关，这样做一方面可以减少计算量，另一方面有可能Q值对应状态量和动作量都不连续，去掉一个可以减少这方面的影响。

Policy learning 中，分段训练这一块不是很明白，为什么需要分段，文中提到对于有些系统（以欠驱动系统为例）可能存在控制策略不连续的情况，所以做分段处理，这个解释不能说服我。并且论文中分段怎么实现的也不明确，需要自己进一步地去挖掘。

另外对于文中的仿真有几个可以利用，第一个是值函数的分布图；第二个是添加样本的图。

Gaussian processes
08-11
Gaussian processes介绍 讲义 1. solve a convex optimization problem in order to identify the single “best fit” model for the data, and 2. use this estimated model to make “best guess” predictions for future test input points
Scikit-Learn 1.4使用指南：有监督学习 高斯过程 Gaussian Processes
数智笔记
02-04 2008
内核（在 GP 的上下文中也称为“协方差函数”）是 GP 的关键组成部分，它决定了 GP 的先验和后验的形状。它们通过定义两个数据点的“相似性”以及相似的数据点应该具有相似的目标值的假设来编码对被学习函数的假设。相反，使用与逻辑链接函数（logit）对应的非高斯似然函数。该方法可以用于计算 2D 数组 X 中所有数据点的“自协方差”，或者计算 2D 数组 X 中的数据点与 2D 数组 Y 中的数据点的“交叉协方差”。唯一的注意事项是超参数的梯度不是解析的，而是数值的，并且所有这些内核仅支持各向同性距离。
Gaussian process (高斯过程)
就很秃然
01-05 2081
通俗解释： 先想象一下高斯分布，例如二维中，它是一条钟型线。如果数据满足高斯分布，确实可以通过已知的数据点建立一条高斯分布线，来预测未知的点。 那么高斯过程，只是将高斯分布的均值和方差定值变成了函数形式，它也是一直点来预测未知点，例如在二维空间：每个x点都有一个纵向的高斯分布，那么预测的每个未知点变成了一个高斯分布。最终高斯过程形成了数以千计的若干个预测线，即下方红色区域，不再是单纯的一条线了。 公式： 已知初始点 ，通过新点来更新高斯过程： ...
高斯过程（Gaussian Process）
lhaiq的专栏
08-22 1469
g
Gaussian Process
Chunying27的博客
09-29 715
non-parametric model set σn \sigma_n =0, we can fit the data exactly, the mean predictive function pass training data log marginal likehood: - the first term: −12log(|Σ|) -\frac{1}{2} log(|\Sigma
《Gpu Gems》《Gpu Pro》《Gpu Zen》系列读书笔记
puppet_master的专栏
02-13 2万+
本篇blog简单记录了一下最近一两年一直在读的一系列书目。《Gpu Gems》1-3三部，《Gpu Pro》1-7七部，《Gpu Zen》一部。针对每一项渲染技术，进行全系列书的总结，从这个角度来看，可以看到一项技术，近十五六年来的进化过程。
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
BP的机器学习日记（吴恩达机器学习课程笔记）
m0_74776579的博客
02-27 2236
电线杆上的鸟也想学ML
【论文阅读笔记】NeurIPS2020文章列表Part2
zincrain的博客
12-09 6417
Online Multitask Learning with Long-Term Memory Fewer is More: A Deep Graph Metric Learning Perspective Using Fewer Proxies Adaptive Graph Convolutional Recurrent Network for Traffic Forecasting On Reward-Free Reinforcement Learning with Linear Function A.
数学建模必备英文词汇：终极速查表pro
qq_42924330的博客
03-18 1002
数学建模涉及多学科知识，其中频繁出现的英文专业术语常令人头疼。无论是阅读文献还是撰写美赛论文，掌握核心英文词汇至关重要。本文提供一份全面的数学建模英文单词清单，涵盖模型构建、算法设计、数据分析等高频词汇，每个单词附有音标、中文翻译及例句，帮助理解实际应用场景。无论你是初学者还是有经验的建模爱好者，这份清单都将助你提升文献阅读和论文写作能力，为比赛做好准备！
Gaussian process for machine learning
08-27
Gaussian process for machine learning, by Carl Edward Rasmussen and Christopher K. I. Williams. 2006
关于高斯过程的介绍Introduction Of Gaussian Process
08-12
高斯过程Gaussian Process是近几年继SVM之后，兴起的在机器学习领域的又一个热点。这份是来自剑桥大学mackay教授的一篇关于Gaussian Process的概述文章。对有兴趣的应该会有帮助！
Gaussian Processes
aabb7654321的博客
08-13 565
原文地址：https://borgwang.github.io/ml/2019/07/28/gaussian-processes.html 一元高斯分布 概率密度函数：\[p(x) = \frac{1}{\sigma\sqrt{2\pi}}\mathrm{exp}(-\frac{(x-\mu)^2}{2\sigma^2}) \tag{1}\] 其中\(\mu\)和\(\sigma\)分别...
sklearn(十八)：Gaussian Processes
u014765410的博客
10-05 2928
Guassian Processes利弊： 优点 GP对new point的预测是通过在training data中插值而得到的。 GP是概率预测，通过GP的概率预测，我们可以知道new point的“经验置信区间”，基于该置信区间大小（如果置信区间过大，则不能精确得出new point的位置，应该想办法减小置信区间），我们可以考虑是否需要对该new point进行重新拟合预测（如果GP对于ne...
20 高斯过程 Gaussian Process
cengjing12的博客
06-11 1132
本小节我们将进入Gaussian Process 的学习。Gaussian 自然指的就是Gaussian Distribution，而Process 指的就是随机过程。在一维的 Gaussian Distribution 中我们可以令 p(x)=N(μ,σ2)p(x)=\mathcal{N}\left(\mu, \sigma^{2}\right)p(x)=N(μ,σ2) 。如果 对应到高维高斯分布的话，也就是 (Multivariate Gaussian Distribution) 也就是我们通常意义上说的
高斯过程 Gaussian Process
sinat_37836116的博客
04-05 8183
一、什么是高斯过程   高斯过程是一种随机过程，即按时间或者空间索引的随机变量的集合。这个集合中的有限个随机变量构成多维高斯分布。高斯过程就是这个集合中所有随机变量(无限多个)的联合分布。 二、高斯分布 2.1 一元高斯分布   一元高斯分布的概率密度函数为： f(x)=1σ2πe−12(x−μσ)2(1) f(x) = \frac{1}{\sigma\sqrt{2\pi}}e^{-\frac{1}{2}(\frac{x-\mu}{\sigma})^2}\tag{1} f(x)=σ2π​1​e−21​(σx
高斯回归(Gaussian Processes)
qq_36013249的博客
05-09 3764
1 前言 1.1 怎么理解高斯过程？高斯过程和随机过程的关系是什么？ 高斯分布：随机变量服从高斯分布，意味着在当前时刻，该随机变量可能取的值服从高斯分布，但它只能从分布中取一个！ 随机过程：在一条时间线上，或一个数据集中，随机变量在每个位置上服从一定的分布，但在每一个位置只能取一个值，假设共有m个时间点（或数据集容量为m），则一共会产生m个取值结果，这m个取值结果便称为一个过程，因为在每一个点的取值是随机的，因此称为随机过程。我们用联合概率分布来描述随机过程： p(x1=t1,x2=t2,...,xm=t
高斯过程 Gaussian Processes for Machine Learning
AI天才研究院
08-11 1250
大数据时代已经来临，互联网公司、科技公司、政府部门都在大量运用机器学习技术进行各种各样的分析。由于数据的复杂性、高维特征的存在以及非线性关系的难以捉摸等原因，传统机器学习模型往往在分类任务中表现不佳。而随着深度学习的兴起，近年来一些神经网络的提出，大大促进了机器学习的进步。然而深度学习面临着两个重要的问题：（1）优化目标设计困难；（2）数据量大导致计算资源过载。本文将介绍一下“高斯过程”(Gaussian Process)及其在机器学习中的应用，并阐述其优越性以及如何利用该方法解决现实问题。
Gaussian Process Morphable Models
最新发布
04-17
### Gaussian Process Morphable Models (GPMM) Gaussian Process Morphable Models 是一种基于高斯过程的统计模型，广泛应用于计算机视觉领域中的形状建模和分析。它通过学习一组训练样本的空间分布来表示目标对象的变化模式[^1]。 #### 基本概念 GPMM 的核心思想在于利用高斯过程回归（GPR, Gaussian Process Regression）对数据进行建模。具体来说，该模型能够捕捉到复杂的数据结构并生成新的实例。其主要特点包括： - **灵活性**：可以适应多种类型的输入数据，例如二维图像、三维网格等。 - **概率框架**：提供了一种自然的概率解释方式，允许不确定性估计。 - **可扩展性**：支持大规模数据集上的高效计算方法。 #### 实现步骤概述 以下是 GPMM 的典型实现流程： 1. 数据预处理阶段涉及标准化原始观测值以便后续操作更加稳定； 2. 构造协方差函数以定义点间相似度关系； 3. 应用最大似然估计或其他优化算法调整超参数直至收敛； 4. 使用测试样本来验证最终构建好的形态学模型性能指标如何。 ```python import numpy as np from sklearn.gaussian_process import GaussianProcessRegressor from sklearn.gaussian_process.kernels import RBF, ConstantKernel as C def gpmm_model(X_train, y_train): kernel = C(1.0, (1e-3, 1e3)) * RBF(10, (1e-2, 1e2)) gpr = GaussianProcessRegressor(kernel=kernel, n_restarts_optimizer=9) # Fit to data using Maximum Likelihood Estimation of the parameters. gpr.fit(X_train, y_train) return gpr X_train = np.array([[0], [1], [2]]) y_train = np.sin(X_train).ravel() model = gpmm_model(X_train, y_train) ``` 此代码片段展示了如何创建一个简单的 GPR 模型作为基础版本的 GPMM 。实际应用中可能还需要考虑更多细节比如特征提取与降维等问题。 #### 学习资源推荐 对于希望深入研究 GPMM 技术的学习者而言，可以从以下几个方面入手寻找资料： - 阅读经典论文《Active Shape Model》及其后续发展成果； - 参考开源项目如 OpenCV 中关于 ASM/BSM 的文档说明； - 关注最新会议发表文章获取前沿动态更新信息。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值