深度强化学习（三）马尔科夫决策过程

@@老胡 @@老胡 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 300+累计阅读 381平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄7年
关注
原创 最新推荐文章于 2026-06-17 11:26:36 发布 381 阅读 AI 写同款· GEO 优化 ›
深度强化学习（一） 强化学习基本概念（马尔科夫决策过程） 最近需要做深度强化学习方面的内容，所以对这部分内容进行一下记录。 以下是参考的资料： 强化学习入门 量子位公众号对一篇博客的翻译，强化学习入门很不错。 Deep Reinforcement Learning: An Overview 一篇关于深度强化学习的综述文章，机器之心公众号有对其的翻译，可以看一下。 知乎--强化学习怎么入门好？ 知乎上有详细的专栏介绍。 OpenAI 深度强... 阅读详情

文章目录

参考文章：https://blog.youkuaiyun.com/taka_is_beauty/article/details/88356375

序贯决策问题是针对随机动态系统的不确定性按照时间顺序给出最优策略。马尔科夫决策过程是解决序贯决策问题的经典方法。

马尔可夫过程MP

  • 马尔科夫过程是指满足马尔科夫性的随机过程，马尔科夫过程的未来状态只与当前状态有关，与过去所有的状态都无关
  • 马尔科夫过程可以用一个二元组（S，P）表示，其中S表示状态空间，由一组有限的状态组成；P是状态转移概率矩阵。

在这里插入图片描述

马尔科夫链MC

状态离散的马尔科夫过程被称为马尔科夫链，马尔科夫链在时间和状态上均离散。

状态转移概率矩阵

将一个状态转移到另一个状态的概率按照顺序组成的矩阵就是状态转移矩阵。

在这里插入图片描述
状态转移概率矩阵的性质：

  • 转移概率的取值均大于或等于0。
  • 转移概率矩阵的任意一行的概率和为0。
n步转移概率

n步转移概率描述的是从第m步的状态i转移到第m+n步的状态j的条件概率

在这里插入图片描述
在这里插入图片描述

马尔科夫链

对马尔科夫过程的抽样

在这里插入图片描述

马尔科夫奖励过程MRP

  • MRP=马尔科夫链+一个奖励函数，奖励函数是一个期望函数
  • 马尔科夫奖励过程可以由一个四元组（S，P，R，γ）。

在这里插入图片描述

奖励机制

前面的马尔科夫链加上奖励机制后，可以获得一个奖励函数：
在这里插入图片描述

计算价值

概念定义

  • Horizon：同一个游戏环节或者轨迹的长度，由有限个步数决定的。

  • Return回报：从时间t到horizon的时间长度内，把奖励进行折扣所获得的收益。在这里插入图片描述
    这里有一个叠加系数γ，越往后的奖励的的折扣越多，因为我们更希望得到现有的奖励。

  • 状态的价值：在某一个时刻t，在状态s下所期望的回报是：从这个状态开始的未来期望累积回报

在这里插入图片描述

  • 折扣系数γ∈[0,1]
    • 可以避免无穷的奖励
    • 未来是不确定的
    • 希望尽可能快的获得奖励
      在这里插入图片描述
计算价值

在这里插入图片描述

推导贝尔曼方程

贝尔曼方程用来简化马尔科夫决策问题，贝尔曼方程表明，当前状态的的总体回报=当前状态的立即回报+未来后序状态的价值函数。

推导过程：
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

我们知道，不同的马尔科夫链得到的下一步的状态是不同的，这里是要把所有的下一步都累加。

贝尔曼方程实际应用

在这里插入图片描述
在这里插入图片描述

收录于
机器学习相关

当前文章被收录于：

机器学习相关
7 篇文章 0 人学习

机器学习、深度强化学习、计算机视觉

订阅专栏 查看详情
标签
#深度强化学习 #贝尔曼方程 #马尔科夫决策
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
强化学习-马尔可夫模型 前文提到了强化学习源自马尔可夫决策过程，本文从马尔可夫概念入手，讲解和马尔可夫有关的模型和概念。在马尔科夫决策过程中，我们有一个智能体，它在一个马尔科夫过程中进行决策，每次决策都会导致状态的转移和获得即时奖励。智能体的目标是通过选择动作来最大化未来奖励的期望值。通常马尔科夫决策过程是个五元组：SAPRγSAPRγS 表示状态集合，代表智能体可能处于的所有状态。A 表示动作集合，代表智能体可以采取的所有动作。 阅读详情

相关推荐

马尔科夫决策过程，强化学习，深度强化学习，Q-learning 入门 一看就懂

**马尔科夫性：**即无后效性，下一个状态只和当前状态有关而与之前的状态无关。 马尔科夫过程：马尔科夫过程是随机过程的一种。可以理解为，在满足马尔科夫性质的条件下，状态与状态之间的转换过程即为马尔科夫过程。这个过程只有状态和状态转移概率，是不涉及动作的。 马尔科夫决策过程：考虑了动作策略的马尔科夫过程，即系统下个状态不仅和当前的状态有关，也和当前采取的动作有关。 强化学习：是依靠环境给予的奖惩来学习的，因此对应的马尔科夫决策过程还包括奖惩值 这几者的区别详见：https://zhuanlan.zhihu.c

leejieleejie的博客 1673

马尔可夫链与强化学习:结合实践

1.背景介绍 强化学习(Reinforcement Learning, RL)是一种人工智能技术，它通过在环境中进行交互，学习如何实现最佳行为。强化学习的主要目标是找到一个策略，使得在某种状态下执行的行为能够最大化预期的累积奖励。强化学习的主要特点是它可以处理不确定性和动态环境，并且可以适应新的情况。 马尔可夫链(Markov Chain)是一种概率模型，它描述了一个随时间的演进而发生变化的随...

AI天才研究院 865

深度强化学习研究笔记（1）——入门（马尔科夫决策过程，贝尔曼方程，价值迭代和策略迭代）

1. 强化学习（Reinforcement learning）概述 强化学习（Reinforcement learning）的基本内涵是将问题用代理和环境进行建模。其中代理能够对环境执行一些特定的动作a∈Aa \in Aa∈A，从而到达某个状态s∈Ss \in Ss∈S，然后我们就可以根据该状态为代理赋予特定的奖励rrr。强化学习的基本思想如下图所示： 代理的目标是最大化未来的奖励总和，它通过将...

越野者的博客 5280

马尔可夫链在强化学习中的应用与代码示例

在马尔可夫链中，未来状态的概率分布仅依赖于当前状态，而与之前的状态无关。在强化学习中，智能体需要在给定的状态下选择动作，然后环境响应这些动作并反馈新的状态和奖励。这个示例中的MDP是人为设计的，并且转移概率矩阵和奖励函数都是已知的。在每次迭代中，它计算每个状态在采取所有可能动作后的期望价值，并选择使期望价值最大的动作作为最优策略。MDP的一个重要性质是，给定当前状态和动作，未来的状态仅依赖于当前状态和动作，而与之前的状态和动作无关。在这个例子中，定义了一个有5个状态的MDP，每个状态有两个可能的动作。

ahah12345678的博客 1386

深度强化学习-马尔科夫决策过程和表格型方法-笔记（二）

马尔科夫决策过程 马尔科夫过程 Markov Process(MP) （1）马尔科夫性质 （2）马尔科夫过程/马尔科夫链 （3）马尔科夫奖励过程 Markov Reward Process(MRP) horizon：同一个episode或者是整个一个轨迹的长度，它是由有限个步数决定的。 return：Return 说的是我们把奖励进行折扣，然后获得的这个收益。Return 可以定义为奖励的逐步叠加，然后这里有一个叠加系数，就是越往后得到的奖励，折扣得越多。这说明我们其实更希望得到现有的奖励，未来的

wield_jjz的博客 2423

【深度强化学习】2. 马尔科夫决策过程

【DataWhale打卡】周博磊博士-第二节马尔科夫决策过程，主要内容： 马尔科夫链、马尔科夫奖励过程、马尔科夫决策过程 Policy evaluation in MDP Control in MDP: policy iteration & value iteration 这部分主要讲的除了MDP问题本身，主要是动态规划方面的求解方法。 文章目录一、引入二、Markov Process(MP)Markov PropertyMarkov Chain三、Markov Reward Process(M

pprp的博客 1113

强化学习---马尔可夫决策过程 MP MRP MDP

马尔可夫性质（Markov property）是指一个随机过程在给定现在状态及所有过去状态情况下，其未来状态的条件概率分布仅依赖于当前状态。我们假设一个离散的随机过程：X0{X_0}X0​,X1{X_1}X1​, · · · ,XT{X_T}XT​ ，这些随机变量的所有可能取值的集合被称为状态空间。如果Xt+1{X_{t+1}}Xt+1​ 对于过去状态的条件概率分布仅是Xt{X_t}Xt​ 的一个函数，则: p(Xt+1=xt+1∣X0:t=x0:t)=p(Xt+1=xt+1∣Xt=xt){p (X_{t+

wybnmsl的博客 1620

深度强化学习系列(1): 深度强化学习概述

深度强化学习及其在自动驾驶中的应用( DRL & ADS ) 专栏系列文章规划 DRL&ADS系列之(1): 强化学习概述 DRL&ADS系列之(2): 深度强化学习及算法讲解 DRL&ADS系列之(3): ADS软硬件分析及DRL在Torcs中的应用 概述 机器学习是人工智能的一个分支，在近30多年已发展为一门多领域交叉学科，涉及概率论、统计学...

深度强化学习(DeepRL)探索博客 2万+

深度强化学习实战指南：从MDP原理到中国产业前沿

深度强化学习以马尔可夫决策过程为理论基础，涵盖基于价值（DQN）、基于策略（PPO、SAC）及基于模型（Dreamer）三大算法流派。中国产业应用广泛，涵盖腾讯《王者荣耀》AI、华为芯片布局优化、国家电网调度及自动驾驶仿真训练。国产工具链以百度PARL、华为MindSpore Reinforcement及OpenDILab为代表，支持分布式训练与端边云协同。核心挑战包括稀疏奖励、安全约束及样本效率，前沿趋势聚焦大语言模型与DRL融合、具身智能及离线强化学习。开发者需掌握PPO/SAC等主流算法，结合国产框架

1248

深度强化学习（DRL）一：入门篇

目录前言强化学习（RL）的基本概念主要算法和相关分类QlearningSarsaA3C强化学习到深度强化学习 前言 之前通过对AlphaGo Zero的学习，我对深度强化学习有了一定的了解。但是由于没有经过系统的学习，我对其中的知识还有很多不懂的地方。写这一系列文章主要是整理一下网上的资料，梳理这方面的知识，做一下总结。目前网上关于深度强化学习的应用这方向的资料不算多，再加上深度强化学习本身也是一...

钟鸣的博客 2万+

深度强化学习 pdf 董豪| 马尔科夫性质，马尔科夫过程，马尔科夫奖励过程，马尔科夫决策过程

pwd=hea4hea4。

OrdinaryMatthew的博客 547

深度强化学习2——马尔科夫决策过程（MDP）

本文讲解思路从马科夫过程（MP) 到马尔科夫奖励过程（MRP）最后到马尔科夫决策过程（MDP）。 首先我们要了解马尔科夫性，在上一章1.3我们也提到，当前状态包含了对未来预测所需要的有用信息，过去信息对未来预测不重要，该就满足了马尔科夫性，严格来说，就是某一状态信息包含了所有相关的历史，只要当前状态可知，所有的历史信息都不再需要，当前状态就可以决定未来，则认为该状态具有马尔科夫性。下面用公式来描...

谢宜廷的博客 1万+

强化学习基础-马尔可夫决策过程（Markov Decision Process，MDP）

是一种数学框架，用于建模和求解序贯决策问题。它基于马尔可夫性质，通过定义状态、行动、转移概率函数和奖励函数来描述决策过程，并通过最优化方法来求解最优策略。本文将详细介绍马尔可夫决策过程的原理和数学公式。

m0_73916791的博客 6123

深度强化学习：（一）马尔科夫决策过程

一、马尔科夫决策过程

Warship_的博客 1085

1.3 强化学习的核心——马尔科夫链和决策过程

强化学习，马尔科夫链和决策过程

qq_55817565的博客 1377

超越图灵机——论人工智能实现的可能性（一）

超越图灵机——论人工智能实现的可能性（一）我认为人工智能是可以实现到逻辑思维这一步的，因为逻辑思维可以完全用字符串来表示，图灵机可以把任意单元置成任意值，在这一点上是完备的，这就足以描述逻辑思维了，所以用图灵机完全可以实现到逻辑思维。当然图灵机会受到哥德尔不完备性的制约，但是逻辑系统也会受到同样的制约，所以我认为完全可以用图灵机实现逻辑思维。那么逻辑思维的本质机理与图灵机是什么关系？逻辑思

太极语言 1万+

马尔科夫决策过程-策略迭代与值迭代(基于动态规划)

强化学习入门笔记，基于easy RL提示：以下是本篇文章正文内容，下面案例可供参考。

m0_66988867的博客 2551

R语言实战：GEO单细胞数据下载与自动化整理全流程（附代码）

本文详细介绍了使用R语言从GEO数据库下载scRNA-seq数据并实现自动化整理的完整流程。通过GEOquery和Seurat等工具包，读者可以高效获取单细胞RNA测序数据，完成从原始数据下载到预处理的全过程，最终生成可直接用于分析的Seurat对象。文章包含完整代码示例，特别适合生物信息学研究者处理单细胞数据。

weixin_29061821的博客 427

深度强化学习——概念及算法总结

深度强化学习相关经验贴学习和总结，附原文连接。

weixin_42898871的博客 9857

Ansys Lumerical 启动时出现 Error: Could not connect to Ansys license server specified at 1055@ 的另一种解决办法

昨天在关闭了中之后 就能正常打开 FDTD 了，结果今天想开启出现了同样的报错：我猜测昨天能启动的原因在于关闭之后要重启电脑，并且在重启之后我第一时间打开 lumerical 测试因此端口没有被占用，今天是在电脑启动之后一段时间才打开所以又遇到了端口占用的问题。

qq_51404184的博客 9549

VS2019 从零构建 OSG+OSGEarth+OSGQt 开发环境实战指南

本文提供了一份详细的实战指南，指导开发者如何在Windows系统下使用VS2019从零开始编译和配置OSG、OSGEarth与OSGQt开发环境。文章涵盖了从环境准备、源码获取、CMake配置、Visual Studio编译到最终测试的完整流程，并分享了关键的避坑技巧，旨在帮助三维GIS与可视化开发者高效搭建稳定、可控的专业开发平台。

weixin_28826961的博客 366

深度强化学习Deep Rrinforcement Learning|MDP|POMDP

现代网络规模大、结构复杂，计算复杂度很快变得难以控制。因此，DRL一直在发展成为克服这一挑战的替代解决方案。马尔科夫链(Markov Chain)、马尔科夫决策过程(Markov Decision Process,MDP)、部分可观察马尔科夫决策过程(Partially Obserable Markov Decision Process,POMDP)、隐马尔科夫模型(HMM)。

m0_64578069的博客 2740

【WorkBuddy专栏27】WorkBuddy 和 CodeBuddy 到底什么关系——一篇文章终结所有混淆

WorkBuddy 和 CodeBuddy 到底什么关系——一篇文章终结所有混淆

AI人人懂 2645
上一篇： 深度强化学习（二）统计、概率与随机过程普及
下一篇： Linux 常用命令
点赞 0
评论 0
书签 书签 0
@@老胡
@@老胡
博客等级 码龄7年 291粉丝 184原创
+ 关注 专栏目录 订阅专栏
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值