强化学习（四）用蒙特卡罗法（MC）求解

原创 已于 2025-05-12 10:05:47 修改 · 1k 阅读 · 16 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#算法 #人工智能

于 2025-05-09 19:40:14 首次发布

微信公众号：李歪理，欢迎大家关注

在强化学习（三）用动态规划（DP）求解中，我们讨论了用动态规划来求解强化学习预测问题和控制问题的方法。但是由于动态规划法需要在每一次回溯更新某一个状态的价值时，回溯到该状态的所有可能的后续状态。导致对于复杂问题计算量很大。

同时很多时候，我们连环境的状态转化模型 P 都无法知道，这时动态规划法根本没法使用。这时候我们如何求解强化学习问题呢？本文要讨论的蒙特卡罗(Monte-Calo, MC)就是一种可行的方法。

1. 不基于模型的强化学习问题定义

在动态规划法中，强化学习的两个问题是这样定义的：

预测问题，即给定强化学习的6个要素：状态集 SSS，动作集 AA

了解本专栏 订阅专栏 解锁全文 超级会员免费看
DRL基础（五）——强化学习中的蒙特卡洛方法
二向箔
05-02 2675
【引言】前面利用马尔可夫决策过程这一数学工具对强化学习进行了形式化描述，并给出了强化学习智能体的目标函数。那么如何找到最优策略来最大化目标函数？最优策略存在吗？是唯一的吗？在回答这些问题之前，先考虑一下问题想细致一点。 首先，状态是智能体决策的依据，状态是连续的还是离散的？可不可以一一枚举出来？ 其次，智能体的动作是连续的还是离散的？可不可以很方便地列出来？ 假设状态和动作都是离散的并且能够方便地列出来，这样问题就变得好处理一些了，因为可以使用一张表格，将不同状态下的不同动作所对应的未来收益记录下.
强化学习--蒙特卡洛法
乐趣是人为构建的，构建是一种莫大的乐趣。
06-12 959
现实生活中，模型往往是未知的。我们使用蒙特卡洛采样一段机器与现实交互的s-a轨迹，来帮助机器改进自己。 cs234 蒙特卡洛的好处是，他不需要很多假设，例如不需要state是marcov的。 蒙特卡洛算法有两种:首次访问（仅使用每个轨迹当中s第一次出现时的回报对Vπ(s)V^\pi(s)Vπ(s)估计），每次访问（使用每个轨迹当中s每次出现时的回报对Vπ(s)V^\pi(s)Vπ(s)估计） 首次访问 每次访问 还有一个基于每次访问的变种，滑动平均，假定环境随着时间变化： 当然，当α>1N(s)\a
强化学习笔记-05 蒙特卡罗方法Monte Carlo Method
tostq的专栏
05-16 747
本文是博主对《Reinforcement Learning- An introduction》的阅读笔记，不涉及内容的翻译，主要为个人的理解和思考。蒙特卡罗方法，weighted importance sampling，off-policy蒙特卡罗方法，
精选资源
强化学习（五）用时序差分法（TD）求解
01-06
在强化学习（四）用蒙特卡罗法（MC）求解中，我们讲到了使用蒙特卡罗法来求解强化学习问题的方法，虽然蒙特卡罗法很灵活，不需要环境的状态转化概率模型，但是它需要所有的采样序列都是经历完整的状态序列。...
强化学习05——蒙特卡罗方法
catcatcatcx的博客
11-11 287
本篇博客内容源于课程《强化学习的数学原理》 赵世钰老师 西湖大学，旨在记录学习强化学习的过程。
增强学习 ----- 蒙特卡罗方法(Monte Carlo Methods)
Tiffany_uk的博客
04-07 280
点击打开链接
强化学习-蒙特卡罗法
weixin_30361641的博客
02-17 283
1. 前言 从本章起，我们开始解决更贴近实际的问题。前面提到我们接触过的问题有一个特点，即我们可以知道环境运转的细节，具体说就是知道状态转移概率\(P(s_{t+1}|s_t,a_t)\)。对蛇棋来说，我们可以看到蛇棋的棋盘，也就可以了解到整个游戏的全貌，这时我们相当于站在上帝视角，能够看清一切情况。 在很多实际问题中，我们无法得到游戏的全貌，也就是说，状态转移的信息\(P(s_{t+1}|s_t...
强化学习3-蒙特卡罗MC
weixin_30411239的博客
02-17 214
　　 之前讲到强化学习可以用马尔科夫决策过程来描述，通常情况下，马尔科夫需要知道 {S A P R γ}，γ是衰减因子，那为什么还需要蒙特卡罗呢？ 首先什么是蒙特卡罗？ 蒙特卡罗实际上是一座赌城的名字，蒙特卡罗方法是冯 诺依曼 用这座赌城的名字起的。 蒙特卡罗方法的主要思想是：当求解的问题是某随机事件出现的概率，或者某随机变量的期望时，可以采用多次采样，以该事件出现的频率来估计...
【机器学习】强化学习（三）蒙特卡洛算法
cxyhjl的博客
01-17 4946
策略迭代算法和价值迭代算法为什么可以得到理论上的最优解，在实际问题中使用价值有限？无模型算法三、蒙特卡洛算法蒙特卡洛(Monte Carlo)方法是一种基于样本的强化学习算法，它通过执行和学习代理（也就是我们编程的AI）环境交互的样本路径来学习。它不需要初始知识的模型，只依赖样本结果。蒙特卡洛算法主要用于求解策略估计和控制问题。对于复杂的问题，通过采样方法，我们可以获得近似解。这就是为什么蒙特卡洛...
强化学习（3） 蒙特卡罗方法
weixin_43316082的博客
05-11 651
蒙特卡罗方法 在强化学习（2）我们讲了已知模型时，利用动态规划的方法求解马尔科夫决策问题。然而很多时候，我们无法知道状态转移概率矩阵PPP，这时动态规划法根本无法使用。这时候我们如何求解强化学习问题呢？ 今天我们讲无模型的强化学习算法。无模型的强化学习算法主要包括蒙特卡罗方法和时间差分方法。本文要讨论蒙特卡罗（Monte-Calo, MC）的方法。 在动态规划的方法中，值函数的计算方法为： vπ(...
强化学习 3 —— 使用 蒙特卡洛（MC）解决无模型问题
靡不有初鲜克有终
08-09 4555
强化学习 3—— Model-free MC 一、问题引入 回顾上篇强化学习 2 —— 用动态规划求解 MDP我们使用策略迭代和价值迭代来求解MDP问题 1、策略迭代过程： 1、评估价值 (Evaluate) vi(s)=∑a∈Aπ(a∣s)(R(s,a)+γ∑s′∈SP(s′∣s,a)⋅vi−1(s′)) v_{i}(s) = \sum_{a\in A} \pi(a|s) \left( {\color{red}R(s, a)} + \gamma \sum_{s' \in S} {\color{red}
蒙特卡洛方法_强化学习读书笔记（5）|蒙特卡洛方法（Monte Carlo Methods）
weixin_39954569的博客
12-16 326
前面两章都假设我们已知MDP的分布p(s'r|s,a)(model)，但有时这一点难以做到，或者说这种Markov假设可能是不合理的，那么我们只能从真实/模拟环境中去获取这些知识。蒙特卡洛方法只需要经验知识，即：来自线上或者模拟环境交互过程的样本序列(包括状态序列、动作序列、奖励序列)。“蒙特卡洛”这个词被广泛用在利用大量随机元素作估计的地方。在这里我们用它来表示基于完全return平均...
强化学习数学原理(四)——蒙特卡洛方法
ArtoriaLili的博客
02-01 1770
在强化学习中，要计算在策略pi下的状态 - 动作值函数 q(s,a)，即从状态出发，采取动作a后，遵循策略pi所获得的期望回报。重复这个过程，直到到达终止状态，形成一个 episode，如（s0,a0,r0,s1,a1,r1,...,st,at,r），其中T是终止时刻，该 episode 的回报。从状态s出发，采取动作a，然后按照策略pi在环境中进行交互，直到到达终止状态，这一过程称为一个 episode，得到一个回报 g(s,a)。假设，有一枚硬币，抛硬币后，若正面朝上，定义随机变量X=1；
强化学习的数学原理：蒙特卡洛学习
qq_53324833的博客
07-05 1116
实际上将之前 policy iteration 当中基于模型的部分只要替换掉不需要模型的部分，就得到了本节课的蒙特卡洛的算法；另外在本门课当中将 value iteration 和 policy iteration 统称为 model-based reinforcement learning，更准确的说应该称为动态规划的方法。这种方法研究的是比如用数据估计出来一个模型，然后再基于这个模型来进行强化学习。而这节课讲的将是 model-free 的方法。
强化学习:蒙特卡洛算法求解最优状态价值函数——手把手教你入门强化学习(五)
最新发布
wxchyy的博客
03-15 1272
上期介绍了动态规划，本期将介绍蒙特卡罗算法。我们也会称“蒙特卡洛法”，翻译的不同，我们就不深究了，同样，这期笔者会尽量用通俗易懂的语言来让大家能够真正读懂！！！蒙特卡罗法的过程，是一个通过不断采样让样本丰富起来，进而比较准确地估算出由策略π驱使的某个状态的估值Vπ(s)的过程。一旦准确地计算出这个估值，我们就可以沿用动态规划的方法进行策略优化了。缺点：在开始的几十个甚至上百个Episode中，前几次实验结果的方差一定大得惊人，因为这时候我们的初始数据是随机的。
蒙特卡罗强化学习算法
MusicDancing的博客
09-17 400
该算法通过考虑采样轨迹，克服了模型未知给策略估计造成的困难。此类算法需在完成一个采样轨迹后再更新策略的值估计，而基于动态规划的策略迭代和值迭代算法在每执行一步策略后就进行值函数更新。 两者相比，蒙特卡洛算法的效率要低得多，这里的主要问题是蒙特卡洛强化学习算法没有充分利用强化学习任务的MDP结构。 时序差分TD(Temporal Difference)学习则结合了动态规划与蒙特卡罗方法的思想，能做到更高效的免模型学习。 ...
新版《强化学习：原理入门》介绍
时序差分（Temporal Difference，简称TD）和蒙特卡洛（Monte Carlo，简称MC）是两种强化学习中的重要方法。TD方法是基于不完全的样本序列进行估计，它利用了环境动态的马尔科夫性质，通过观察到的状态-动作对来估计...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

comli_cn

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值