马尔科夫性质/无后效性——从案例看定义

最新推荐文章于 2025-06-06 09:58:22 发布
最新推荐文章于 2025-06-06 09:58:22 发布
阅读量1.1w 收藏 16
点赞数 8
CC 4.0 BY-SA版权
分类专栏： Pytorch学习 文章标签： 动态规划 马尔科夫过程 markov
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/houhuipeng/article/details/90691916
本文介绍了马尔科夫性质，即未来只与现在有关而与过去无关。通过不可走重复路线、未知颜色球取样等案例分析了非马尔科夫过程，并引用强化学习与数理统计书籍定义加深理解。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

马尔科夫性质/无后效性

马尔科夫决策过程（Markov Decision Process），动态规划（Dynamic Programming）的基础都是马尔科夫性质/无后效性。简言之，*未来与过去无关，只和现在有关 *
即：
P ( X n + 1 ∣ X 0 , . . . , X n ) = P ( X n + 1 ∣ X n ) P({X_{n+1}|X_0, . . . , X_n}) = P({X_{n+1}|X_n} ) P(Xn+1​∣X0

最低0.47元/天 解锁文章

200万优质内容无限畅学
什么是无后效性？
涛声依旧的博客
09-01 1万+
某阶段的状态一旦确定，则此后过程的演变不再受此前各种状态及决策的影响
机器人：最新技术和应用简单易懂的技术语言
AI天才研究院
07-26 1226
作者：禅与计算机程序设计艺术 1.简介 近年来，科技的飞速发展带动了产业的飞速变化。从某种意义上来说，机器人的革命性进步就是在这种变革中发生的。随着技术的不断进步和发展，机器人已经成为社会的一部分。到目前为止，已有各行各业的人们对机器人的需求越来越强烈。比如，自动驾驶汽车、智能手机、家庭助手等产品均依赖
对无后效性的总结
Sundy的日记
07-18 527
个人理解。从A出发到B，仅仅只要关注A到B的情况，不需要关注A之前如何到A的。这也保证了递推的成立。
马氏链（Markov Chain Model）模型知识详解（1）
最新发布
qq_36812406的博客
06-06 1301
未来状态只依赖于当前状态，而与过去状态无关。PXn1x∣XnxnXn−1xn−1X0x0PXn1x∣XnxnPXn1​x∣Xn​xn​Xn−1​xn−1​...X0​x0​PXn1​x∣Xn​xn​其中，XnX_nXn​是在时间nnn的状态。
无后效性问题
weixin_43823255的博客
11-23 194
换钱的方法数 【题目】给定数组arr，所有元素都为正数且不重复。每个值代表一种面值的货币，每种面值的货币可以使用任意张，再给定一个整数aim代表要找的钱数，求换钱有多少种方法。 【举例】 arr=[5,10,25,1] aim=0 返回1。组成0元的方法有一种，即所有货币都不用 arr=[3,5] aim=2 返回0。无法组成2. arr=[5,10,25,1] aim=15 返回6。35,5+10,101+5,151,25+51,10+51 public static void main(String[]
有后效性和无后效性的通俗理解
skh2015java的博客
04-19 9681
无后效性是动态规划算法及贪心算法的前提条件 无后效性：某阶段的状态一旦确定，则此后过程的决策不再受此前各种状态及决策的影响。 有后效性：就是某个状态之后要做的决策会受之前的状态及决策的影响。 举例：如下图有四乘四的网格，要从左上角走的右下角，条件是每次只能向下或向右走。 如下图从起点走到黑色圆圈位置S(2,2)有两种方案，但是S(2,2)接下来所做的决策不用考虑之前的决策，故是无后效性。 如果把条件改为：可以往前后左右走但是不能走重复的格子，那么接下来要做的决策就需要考虑之前的决策，故此时是.
马尔科夫性质
weixin_34122548的博客
03-15 2478
2019独角兽企业重金招聘Python工程师标准>>> ...
西安交大版 随机过程 汪荣鑫 第4章 马尔科夫过程
07-21
马尔科夫过程是随机过程中的一类特殊模型，以其独特的性质——无后效性（也称作马尔科夫性质或状态转移的局部性）而闻名。在这一章中，我们将深入探讨西安交通大学汪荣鑫教授讲解的马尔科夫过程的基本概念、性质以及...
备战2024数学建模国赛（模型十）：决策树 优秀案例（一）基于粗糙集改进的决策树手机精准营销模型
08-17 1195
马尔科夫模型、遗传算法、逻辑回归、逐步回归、蚁群算法、蒙特卡洛模拟、聚类模型、线性规划、粒子群算法、神经网络、相关系数、灰色预测、灰色关联分析、模糊综合评价、模拟退火、时间序列ARMA、方差分析支持向量机、插值、排队论、拟合模型、微分方程、层次分析法、小波分析、多元回归、图论floyd算法、图论Dijkstra模型、因子分析、动态规划、博弈论、决策树、典型相关分析、元胞自动机、主成分分析、TOPSIS法。
马尔可夫性质（Markov property）
m0_73213588的博客
03-03 5260
指一个随机过程中当前状态的概率分布，只与前一个状态有关，而与之前的状态序列无关。假设 {: t ∈ T} 是一个随机过程，其中是在时刻 t 的状态，T 是时间集合。那么，对于任意时刻 t 和任意状态 i、j 以及任意时刻 s < t，马尔可夫性质可以表述为：给定当前时刻的状态，未来时刻的状态只与当前时刻的状态相关，而与过去时刻的状态无关。一个满足马尔可夫性质的随机过程，即给定当前状态的条件下，未来状态的概率分布仅依赖于当前状态，而与过去状态无关。
马尔可夫性
wacyy的博客
05-11 1520
马尔可夫过程
经典动态规划的问题来理解无后效性
zhiyikeji的博客
02-21 1077
我们先看一下题目，从题目来进行切入 给你一个整数数组 nums ，请你找出一个具有最大和的连续子数组（子数组最少包含一个元素），返回其最大和。 子数组 是数组中的一个连续部分。 示例： 输入：nums = [-2,1,-3,4,-1,2,1,-5,4] 输出：6 解释：连续子数组 [4,-1,2,1] 的和最大，为 6 。 题目链接：https://leetcode-cn.com/problems/maximum-subarray/ 这是一道非常经典的动态规划类题目，需要我们掌握动态规划问题设计状态
马尔科夫性质，马尔科夫过程，马尔科夫链(简洁精炼描述)
weixin_44305115的博客
08-07 5182
马尔科夫性质：当一个随机过程在给定现在状态及所有过去状态情况下，其未来状态的条件概率分布仅依赖于当前状态，此性质即为马尔科夫性质。 马尔科夫过程：具有马尔可夫性质的随机过程称之为马尔可夫过程。 马尔科夫链：马尔科夫链是随机过程的一个数列，令随机过程{Xn, n = 0, 1, 2, . . . , }取有限或可数的正值，当Xn = i 时我们称该过程在时间n时的状态为i，而从状态i到状态j转移的概...
动态规划：第 3 节：理解「无后效性」（自己的草稿，内容不严谨，与之前有重复，不用看）
李威威的博客
04-07 1472
我们在第 1 节向大家介绍过「无后效性」的两层含义： 在推导后面阶段的状态的时候，我们只关心前面阶段的状态值，不关心这个状态是怎么一步一步推导出来的。 某阶段状态一旦确定，就不受之后阶段的决策影响。 下面我们就通过具体的例子向大家进行说明。 这道问题是经典的「力扣」第 198 题：打家劫舍。题目只问最优值，并没有问最优解，因此绝大多数情况下可以考虑使用「动态规划」的方法。 如果我们直接...
动态规划算法的无后效性
hnjzsyjyj的专栏
03-06 1602
在很多计算机算法书籍中，动态规划算法的无后效性讲得晦涩难懂。现简洁陈述如下： 动态规划算法的无后效性就是大学课程《随机过程》中所说的马尔科夫性。即，未来状态（t+1）只和当前状态（t）相关，或者说当前状态（t）只和过去状态（t-1）相关。很显然，当前状态（t）是对历史状态（t-1）、（t-2）、（t-3）……的一个完整总结，是唯一影响未来状态（t+1）的因素。 例如，棋类游戏就具有无后效性。因为，你将要落棋的位置【未来状态（t+1）】只与对手当前棋面【当前状态（t）】有关，而与对...
马尔可夫性质的定义
万方名的博客
04-27 3124
摘自百度百科 马尔可夫性质（英语：Markov property）是概率论中的一个概念，因为俄国数学家安德雷·马尔可夫得名。当一个随机过程在给定现在状态及所有过去状态情况下，其未来状态的条件概率分布仅依赖于当前状态；换句话说，在给定现在状态时，它与过去状态（即该过程的历史路径）是条件独立的，那么此随机过程即具有马尔可夫性质。 ...
动态规划无后效性
weixin_30888027的博客
10-26 196
无后效性是动态规划的重要标记， 概念：某阶段的状态一旦确定，则此后过程的演变不再受此前各种状态及决策的影响，简单的说，就是“未来与过去无关”，当前的状态是此前历史的一个完整总结，此前的历史只能通过当前的状态去影响过程未来的演变。具体地说，如果一个问题被划分各个阶段之后，阶段I中的状态只能由阶段I-1中的状态通过状态转移方程得来，与其它状态没有关系，特别是与未发生的状态没有关系。从图论的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值