MP/MRP和MDP对比

最新推荐文章于 2025-03-02 20:31:04 发布
原创 最新推荐文章于 2025-03-02 20:31:04 发布 · 1k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#强化学习

本文探讨了马尔可夫决策过程(MDP)与马尔可夫过程的区别，强调MDP中决策者如何通过选择动作影响状态转移的概率分布，而马尔可夫过程则直接由当前状态决定下一个状态。MDP的决策性是其核心特征，增加了智能代理在状态变化中的控制因素。

在这里插入图片描述
这里我们看一看，MDP 里面的状态转移跟 MRP 以及 MP 的一个差异。

  • 马尔可夫过程的转移是直接就决定。比如当前状态是 s，那么就直接通过这个转移概率决定了下一个状态是什么。
  • 但对于 MDP，它的中间多了一层这个动作 a ，就是说在你当前这个状态的时候，首先要决定的是采取某一种动作，那么你会到了某一个黑色的节点。到了这个黑色的节点，因为你有一定的不确定性，当你当前状态决定过后以及你当前采取的动作过后，你到未来的状态其实也是一个概率分布。所以在这个当前状态跟未来状态转移过程中这里多了一层决策性，这是 MDP 跟之前的马尔可夫过程很不同的一个地方。在马尔可夫决策过程中，动作是由 agent 决定，所以多了一个 component，agent 会采取动作来决定未来的状态转移。
强化学习---马尔可夫决策过程 MP MRP MDP
wybnmsl的博客
07-23 1496
马尔可夫性质（Markov property）是指一个随机过程在给定现在状态及所有过去状态情况下，其未来状态的条件概率分布仅依赖于当前状态。我们假设一个离散的随机过程：X0{X_0}X0​,X1{X_1}X1​, · · · ,XT{X_T}XT​ ，这些随机变量的所有可能取值的集合被称为状态空间。如果Xt+1{X_{t+1}}Xt+1​ 对于过去状态的条件概率分布仅是Xt{X_t}Xt​ 的一个函数，则: p(Xt+1=xt+1∣X0:t=x0:t)=p(Xt+1=xt+1∣Xt=xt){p (X_{t+
David Silver强化学习公开课（一）：简介
xl.zhang的博客
10-24 3000
本讲是对于强化学习整体的一个简单介绍，描述了强化学习是什么，解决什么问题，大概用什么样的方式来解决问题。介绍了强化学习中常用的概念。这些概念非常重要，贯穿于整个强化学习始终，但是在这一讲，读者仅需对这些概念有个初步的印象。   引子 强化学习在不同领域有不同的表现形式：神经科学、心理学、计算机科学、工程领域、数学、经济学等有不同的称呼。 强化学习是机器学习的一个分支：监督学习、无监督学习、...
David silver 强化学习公开课笔记（二）：MP、MRP、MDP
taoyafan的博客
08-13 3387
1 引言 1.1 Markov 的性质 正如上一节课提到的，Markov 状态表示当前的状态包括了历史所有的信息，也就是给定当前状态，未来和历史是独立的。通俗的说就是未来只和现在有关，和过去是没有关系的！其实也不能说和过去是没有关系，而是现在状态包括了所有的历史。有点绕。。还是看下面的定义式： 所有的 RL 的问题都能表示为一个 MDP。关于什么是 MDP，下面再说。 1.2 状态转移...
【强化学习入门】三.马尔可夫家族中的MP、MRP、MDP分别是什么？
计算机科研杂货铺
12-25 3766
马尔可夫过程（Markov process） 指具有 马尔可夫性质 的 随机过程 ，也被称为马尔可夫链（Markov chain）。 我们把定义中的两个定语（马尔可夫性质 和 随机过程）拿出来，分别进行解释。首先是提到 随机过程 ，就不得不提到另外一个名词——概率论 。二者经常拿来做对比，看一下两者的区别：不过，二者当中都提到了一个新词——“随机现象”，可能有的人对这个词有疑惑，“随机现象” 又是什么呢？官方的定义是这样：通俗来说，“随机现象” 就是某个不确定性的事情。
[强化学习-1] MP、MRP、MDP和Bellman equation
Sundrops的专栏
08-21 6842
最近又开始重新学习强化学习了，记录一下历程 MP(马尔科夫过程) 定义：S是有限状态集合，P是状态转移概率矩阵 例子： 我们将一次有限步数的实验称作一个单独的episode 1. C1 C2 Pass Sleep 2. C1 FB FB MRP(马尔科夫奖励过程) 定义：比MP多了个reward，只要达到某个状态会获得相应奖励R，γ是折扣因子，一个episode中越...
David Silver UCL强化学习课程学习笔记二之Markov Decision Processes 马尔可夫决策过程
dzcera的博客
02-01 706
Lecture 2: Markov Decision Processes https://www.davidsilver.uk/wp-content/uploads/2020/03/MDP.pdf
David Silver 第二讲MP&MRP基本概念
qq_42031142的博客
11-05 598
@强化学习中的马尔可夫决策过程MDP 马尔可夫过程MP Definition:The Future is independent of the past given the present. 将来和过去是独立的，只和现在有关。 : P(St+1|St) = P(St+1|S1,S2,…St) ： 由此可见，t时刻到t+1时刻的转移只和这两个时刻有关，和其他时刻无关。 马尔可夫奖励过程MRP 马尔可夫奖励过程 可以认为是 马尔可夫过程+奖励 在MRP中最重要的就是要区分奖励，回报，价值 先做定义： 奖励：
强化学习过程笔记 （二） MDP 马尔可夫决策过程、贝尔曼等式详解
qq_37576300的博客
10-12 932
Markov Process & Markov chain 马尔可夫过程及马尔科夫链 如果一个状态是符合马尔可夫的，那就是说一个状态的下一状态只取决于它当前的状态，而跟它之前的状态都没有关系。 Markov Reward Process 马尔可夫过程加上一个奖励函数便构成了马尔可夫奖励过程 这里我们进一步阐述和温习一些概念及定义。 Horizon指一个回合的长度（每个回合的最大时间步数），它由有限个步数决定的 Return指把奖励折扣后所获得的收益，可以定义为奖励的逐步叠加：
第二章 马尔可夫决策过程（MDP）
weixin_44245188的博客
03-02 740
如果某一个过程未来的状态与过去的状态无关，只由现在的状态决定，那么其具有马尔可夫性质。换句话说，一个状态的下一个状态只取决于它的当前状态，而与它当前状态之前的状态都没有关系。： 概率论和数理统计中具有马尔可夫性质且存在于离散的指数集（index set）和状态空间（state space）内的随机过程（stochastic process）。：状态转移矩阵类似于条件概率（conditional probability），其表示当智能体到达某状态后，到达其他所有状态的概率。
强化学习note1——马尔科夫奖励过程MRP和马尔科夫决策过程MDP各个函数的定义与区别
渣渣屋
04-27 617
马尔科夫奖励过程MRP 状态转移函数：P(St+1=s′∣st=s)P\left(S_{t+1}=s^{\prime} \mid s_{t}=s\right)P(St+1​=s′∣st​=s) 奖励函数：R(st=s)=E[rt∣st=s]R\left(s_{t}=s\right)=\mathbb{E}\left[r_{t} \mid s_{t}=s\right]R(st​=s)=E[rt​∣st​=s] 回报：Gt=Rt+1+γRt+2+γ2Rt+3+γ3Rt+4+…+γT−t−1RT\mathrm{G}
10天速通强化学习-002--MRP、MDP、蒙特卡洛、占用度量、状态访问分布、贝尔曼最优方程
m0_72169557的博客
02-23 776
马尔可夫过程---MRP(马尔可夫奖励过程)----MDP（马尔可夫决策过程）
RL - 强化学习 马尔可夫决策过程 (MDP) 转换 马尔可夫奖励过程 (MRP)
AGI
06-07 1145
MDP由5个元素组成：状态集合（S），动作集合（A），状态转移概率函数（P），奖励函数（R），以及折扣因子（γ）。马尔可夫决策过程（Markov Decision Process，MDP），在马尔可夫奖励过程（Markov Reward Process，MRP）的基础上，引入动作（Action），即。需要注意的是，从MRP转换回MDP是不可能的，因为MRP中没有动作和策略的概念。动作的价值，在某个状态，尽量使用价值最高的动作，类似自动驾驶中，碰见某类情况，使用最优的动作进行处理，因为动作价值最高。
马尔可夫Markov决策过程 MDP、马尔可夫奖励过程MRP
Anne033的博客
11-08 3239
1. Markov Processes马尔可夫过程 1.1 Markov Property马尔可夫性 在了解马尔可夫过程之前，我们首先得了解什么是马尔可夫性，马尔可夫性其实是一种假设，“未来的一切仅与现在有关，独立于过去的状态”。 关于马尔可夫性，我们给出了如下的Definition： 从上述的式子可以看出，t+1时刻的状态包含了1,…,t时刻状态的全部历史信息，并且当我们知道t时刻的状态后，我们只关注于环境的信息，而不用管之前所有状态的信息，这就是马尔可夫性，当论文中说某一状态或其他信息符合马尔可夫性时
强化学习笔记：马尔可夫决策过程 Markov Decision Process(MDP)
qq_40206371的博客
10-16 1823
1 MDP介绍 相比于马尔可夫奖励过程，马尔可夫决策过程就过了一个decision，其他的定义和马尔科夫奖励过程类似的。 MRP见：强化学习笔记：马尔可夫过程 &马尔可夫奖励过程_UQI-LIUWJ的博客-优快云博客 MDP里多了一个决策，多了一个动作。 状态转移也多了一个条件，变成了。采取某一种动作，未来的状态会不同。未来的状态不仅是依赖于你当前的状态，也依赖于在当前状态 agent 采取的这个动作。 对于这个价值函数，它也是多了一个条件，多了一个当前所作的动作，变成了...
工业以太环网：PROFINet的MRP和MRPD
andre_ww的博客
04-03 3250
关键区别在于，与其阻止数据流经媒体冗余管理器的第二个端口，此端口会被打开，以允许发件人发出的数据以及媒体冗余管理器发出的测试帧在网络中双向传输。此外，这些网络对于符合网络性能要求的媒体冗余具有独特的需求，因此我们将介绍媒体冗余协议和媒体冗余计划复制协议。在正常操作期间，媒体冗余管理器发出测试帧，通常间隔20毫秒，如图1所示，从两个端口发送出去。在我们首次讨论工业以太网环时，我们涵盖了该技术背后的一些关键驱动因素，包括对比星型拓扑提供的更简单的机器布线的需求，以及具有高可用性机器网络的重要性。
强化学习(二）：马尔可夫决策过程MDP【上篇】
冷月无声的博客
07-17 2354
MDP简介 --Markov decision process 马尔可夫决策过程可以更正式地描述强化学习的环境environment，其中，这个环境是完全可观测的【fully observable】，也就是当前状态完全体现了这个过程特征 ，基本上所有RL问题都可以化为MDP的形式，比如最优控制主要和连续型MDP有关。部分可观测的问题也可以转化为MDP。 目录 MDP简介 --Markov...
【强化学习】马尔可夫决策过程MDP
Katniss的Blog
02-11 1115
MDP=MDP=MDP=，其中： Agent通过rtr_trt​学习策略，agent通过学习到的策略针对当前环境状态sts_tst​采取相应动作ata_tat​，该动作与环境交互后，环境中的状态将转移到新的状态st+1s_{t+1}st+1​，同时获得奖励rt+1r_{t+1}rt+1​。Agent的目标是最大化累积奖励的期望。策略用
MPS与MRP的区别
热门推荐
06-26 1万+
MPS与MRP的区别 1、MPS是MRP的直接目的,MPS体现的是净需求,MRP运算出来的作业计划和采购计划的目的就是完成MPS提出的任务,从而达到企业外部市场需求的目标。 2、MPS主要针对有独立需求计划而言,它是整个计划系统的调节器,在充分考虑企业粗能力和资源平衡的基础上平衡外部需求和企业供给能力.有些行业可以没有MPS,直接通过MRP来满足预测和订单的需要。 3、简单的说：
MDP
BravaCristina的博客
11-15 3043
POMDP模型：状态不完全可见，考虑动作。即不完全可观察马尔可夫决策过程 基本概念： 一个马尔可夫决策过程由一个四元组构成M = (S, A, Psa, R)  立即回报函数r(s,a)无法说明策略的好坏。因而需要定义值函数(value function，又叫效用函数)来表明当前状态下策略π的长期影响。 是值函数最常见的形式，式中γ∈[0,1]称为折合因子，表明了未来的回报相
RL与MRP、MDP各类名词
最新发布
03-22
### 强化学习与马尔可夫奖励过程、马尔可夫决策过程的概念对比 #### 1. **强化学习（Reinforcement Learning, RL）** 强化学习是一种通过试错来训练智能体的学习方法，其目标是让智能体学会如何在环境中采取行动以最大化累积奖励。强化学习的核心在于定义环境的状态空间 \( \mathcal{S} \)，动作空间 \( \mathcal{A} \)，以及状态转移概率和奖励机制。 强化学习可以被看作是一个更广泛的框架，其中包含了马尔可夫奖励过程（MRP）和马尔可夫决策过程（MDP）。具体来说，在强化学习中，智能体会基于某种策略 \( \pi(a|s) \) 来选择动作，并观察到新的状态和奖励信号[^1]。 --- #### 2. **马尔可夫奖励过程（Markov Reward Process, MRP）** 马尔可夫奖励过程是在马尔可夫链基础上扩展的一个模型，它不仅描述了状态之间的转移关系，还加入了奖励机制。一个 MRP 可以表示为元组 \( \langle \mathcal{S}, \mathcal{P}, \mathcal{R}, \gamma \rangle \)，其中： - \( \mathcal{S} \): 状态集合； - \( \mathcal{P} \): 状态转移概率矩阵； - \( \mathcal{R} \): 奖励函数，用于衡量从某个状态转移到另一个状态所获得的即时奖励； - \( \gamma \): 折扣因子，用来平衡短期收益和长期收益的重要性。 在一个 MRP 中，不存在显式的动作概念，因此它的行为完全由初始分布和状态转移决定[^3]。 --- #### 3. **马尔可夫决策过程（Markov Decision Process, MDP）** 相比于 MRP，MDP 是一种更加复杂的动态系统建模工具，适用于存在控制变量的情况。MDP 定义了一个五元组 \( \langle \mathcal{S}, \mathcal{A}, \mathcal{P}, \mathcal{R}, \gamma \rangle \)，其中新增加的动作集 \( \mathcal{A} \) 表明了智能体可以选择不同的操作影响未来的状态变化路径[^2]。 此外，MDP 的核心特点之一就是允许引入策略 \( \pi(a|s) \)，这使得我们可以讨论最优解法并设计算法寻找最佳的行为模式。当固定某特定策略后，原本具有不确定性的 MDP 就退化成了相对简单的 MRP 形式[^4]。 --- #### 三者的主要区别总结如下表所示： | 特性/类别 | 强化学习 (RL) | 马尔可夫奖励过程 (MRP) | 马尔可夫决策过程 (MDP) | |------------------|---------------------------------------|--------------------------------------|-------------------------------------| | 是否包含动作 | 包含 | 不包含 | 包含 | | 动态特性 | 学习优化 | 描述静态 | 控制动态 | | 数学形式 | 更广义 | \(<\mathcal{S}, \mathcal{P}, \mathcal{R}, \gamma>\)| \(<\mathcal{S}, \mathcal{A}, \mathcal{P}, \mathcal{R}, \gamma>\) | --- ### Python 实现示例：计算 MDP 下各状态的价值 下面给出一段简单代码演示如何利用迭代求解 MDP 中各个状态对应的价值向量。 ```python import numpy as np def value_iteration(P, R, gamma=0.9, theta=1e-6): V = np.zeros(len(R)) while True: delta = 0 for s in range(len(V)): v = V[s] max_value = max([sum([P[s][a][sp]*(R[a]+gamma*V[sp]) for sp in range(len(V))]) for a in range(len(P[s]))]) V[s] = max_value delta = max(delta, abs(v - V[s])) if delta < theta: break return V # Example transition probabilities and rewards P = [[[0.5, 0.5], [0.8, 0.2]], [[0.7, 0.3], [0.6, 0.4]]] R = [-1, 1] value_vector = value_iteration(P=P, R=R) print(value_vector) ``` 上述程序实现了基于值迭代的方法来近似得到最终稳定状态下每种可能情形下的期望回报总和。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值