强化学习经典model-free方法总结

已于 2022-02-24 09:32:20 修改
阅读量4.3k 收藏 23
点赞数 3
分类专栏： 强化学习基础理论 文章标签： 1024程序员节
于 2021-10-24 20:09:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_41773233/article/details/120930468
版权

强化学习经典model-free方法总结

本文对强化学习的model-free经典方法做一个总结归纳，以便在使用方法或阅读文献时进行对比查找。本文的框架如图所示：

在这里插入图片描述

1. 基于值函数(value-based)的方法

1.1 sarsa

sarsa是on-policy、离散状态、离散动作的方法。这是很原始的方法，通常用一个Q表来存储state-action value.(有的翻译成状态动作价值，有的翻译成动作价值)。

核心公式为：
在这里插入图片描述
因为用于更新Q表的动作 a t

了解本专栏 订阅专栏 解锁全文
Model-free强化学习
lsjmax的博客
10-17 1511
强化学习几个问题 1.在线学习与离线学习 在线学习：agent与环境在线交互，将样本在线学习后，使用一次就丢掉。 离线学习：agent与仿真环境进行交互，将样本进行存储，也可以从别的地方直接拿来样本，可重复的从样本池中抽取样本进行学习。 离线学习样本的利用率较高，但是需要保证样本的可用性。 2.奖励的延迟 agent与环境交互，每次得到的是立即回报，可能需要一连串动作后，才能达到最终的成功状态，获...
Model-Free Reinforcement Learning（无模型强化学习）详解-ChatGPT4o作答
qq_46215223的博客
01-04 1284
Model-Free Reinforcement Learning（无模型强化学习）是一种强化学习方法，其中智能体（Agent）不需要事先了解环境的状态转移概率模型（Transition Model）或奖励函数（Reward Function），而是通过与环境的交互直接学习最优策略（Policy）或值函数（Value Function）。这是强化学习的核心方法之一，特别适合于动态、复杂或无法明确建模的环境。与Model-Based RL的对比：两种主要方法：目标：值函数的定义：贝尔曼方程（Bellman E
【强化学习】强化学习中，model free指的什么？详细进行解释
wq6qeg88的博客
08-10 1397
强化学习（Reinforcement Learning, RL）是一种通过试错（trial and error）学习优化决策策略的方法。在强化学习中，模型可以分为两大类：模型自由（Model-Free）和模型基（Model-Based）方法。下面将详细介绍模型自由方法（Model-Free），它在强化学习中扮演着重要角色。
强化学习之基于无模型的算法之基于策略梯度的深度强化学习算法
最新发布
weixin_47480200的博客
05-06 794
策略梯度算法的原理是使用一个策略网络来拟合具体的策略概率分布Π(a|s)，使得在这个概率分布下，获得的奖励尽可能多。REINFORCE是一种经典的策略梯度蒙特卡洛算法，属于无模型（Model-Free）、同策略（On-Policy）的强化学习方法。其核心思想是通过直接优化策略参数来最大化期望累积回报，采用蒙特卡洛采样估计策略梯度。τ=(s0​,a0​,r0​,s1​,a1​,r1​,⋯,sT​,aT​,rT​)τ其中N是采样轨迹的数量。其中α是学习率。
强化学习中model-free和model-based
再来一下！
05-27 1459
特点Model-Free依赖环境模型是否学习方法学习环境模型并进行规划直接学习策略或价值函数计算复杂度较高，需要维护和利用环境模型较低，不需要显式的环境模型数据效率较高，通过模型可以进行模拟和规划较低，需要大量的交互数据适用场景环境模型已知或可估计环境复杂或难以建模示例算法动态规划、MCTS、Dyna-Q等Q学习、SARSA、DQN、策略梯度法等Model-based 和 model-free 强化学习算法各有优缺点，选择哪种方法取决于具体的应用场景和需求。
[model-free] 经典强化学习论文合集
StarryDoorway的博客
09-05 447
仅供自己参考学习使用，如果有问题或者觉得内容不错，请去原文作者处点赞和讨论，谢谢。 原文地址：https://zhuanlan.zhihu.com/p/89058164 github：https://github.com/PaddlePaddle/PARL/blob/develop/papers/archive.md 整体介绍 这篇文章主要介绍经典的model-free 算法。对刚接触强化学习，然后又想深入了解RL的同学来说，是一个很好的论文合集。文章涵盖了首次用神经网络结合强化学习的D..
4、强化学习--model free 控制
weixin_42988382的博客
04-21 826
model free控制有模型下的策略迭代Ɛ-贪婪探索(MC-control)GLIE(Greedy in the Limit with Infinite Exploration)TD Controlon-policy TD ControlSARSAn步SARSASARSA(λ\lambdaλ)off-policyimportant samplingTD的off-policy方法Q-learnin...
model-free 强化学习方法基础——蒙特卡罗策略优化
HEU_Yutianqi的博客
04-16 1302
最基本的model-free方法——MC法策略评估详解
model-based和model-free
qq_38205273的博客
03-31 5861
判断model-based和model-free最基本的原则是：有没有可依据的model，也就是经过policy得到action之前，它是否能对下一步的状态和回报做出预测，如果可以，那么就是model-based方法，如果不能，即为model-free方法。 或者： Model-free 以及Model-based 的最大区别是：是否有对环境建模。 Model-free 的算法不会对环境进行建模，直接根据和环境交互过程中产生的数据[公式] 来迭代算法。相反的是， Model-based 类的算法则会对环境进
强化学习笔记（一） Model-Free Policy Evaluation
LuoMin2523的博客
06-17 426
这篇笔记摘自周博磊老师的课件资料以及斯坦福大学cs234课程的课件资料，内容涉及model-free policy evaluation无模型的策略评估，包括MC算法以及TD算法，笔记的整理以问答的方式呈现。
强化学习方法汇总
AI_future的博客
07-24 575
model-free RL（依靠真实世界的反馈）： 1.Q learning 2.Sarsa 3.Policy Gradients model-based RL（可以在想象中模拟）： 1.Q learning 2.Sarsa 3.Policy Gradients policy-based RL(基于概率)：不一定选择最高概率 1.Policy Gradients value-based RL：一定选择最大价值，连续的动作无法用基于价值 1.Q learning 2.Sarsa actor-critic：两种
强化学习 蒙特卡洛模拟 一种model-free的强化学习方法
水野与小太郎的博客
08-07 1210
一、蒙特卡洛方法 动态规划方法是建立在模型已知的情况下，但是往往大多数情况下模型是未知的，实际应用中我们不可能完全了解一个环境的所有知识，比如说得出它的状态转移矩阵。这个时候蒙特卡洛算法就派上用场了，它只需要从经验（experience）中去学习，这个经验包括样本序列的状态（state）、动作（action）和奖励（reward）。得到若干样本的经验后，通过平均所有样本的回报（return）来解决强化学习的任务。 对于DP我们求解其价值函数V时，其方法是求解在当前状态下后续回报的期望即： 蒙特卡.
强化学习整理-1.Model free方法
养生少年小余的奋进之路
07-02 1324
强化学习整理1-Model free方法 Q-learning Q-learning的基本思想是利用时序差分（TD）对状态动作价值函数Q进行更新和迭代，直到当前所有状态-动作空间下的Q值收敛。其具体数学公式为： Q(st,at)=Q(st,at)+α(rt+γQ(st+1,at+1)−Q(st,at)(1)Q(s_t,a_t)=Q(s_t,a_t)+\alpha(r_t+\gamma Q(s_{t+1},a_{t+1})-Q(s_t,a_t) \tag{1}Q(st​,at​)=Q(st​,at​)+α(r
Model-free强化学习算法
半夏微凉的博客
06-13 459
Model-free强化学习算法
3、强化学习--model free决策
weixin_42988382的博客
04-18 635
model free决策介绍蒙特卡洛算法蒙特卡洛的策略评估首次访问蒙特卡洛策略评估每次访问蒙特卡洛策略评估在每次访问完episode后即更新每次访问完episode的更新算法时序差分学习(TD-learning)介绍BootStrappingMC和TD对比例子MC和TD算法之间的比较==MC和TD的收敛性比较==TD(λ\lambdaλ)TD(λ\lambdaλ)的两种理解方式前向理解后向理解 介...
模型自由（Model-Free）和模型基础（Model-Based）的强化学习
cuisidong1997的博客
11-15 1153
强化学习（Reinforcement Learning, RL）是机器学习中的一个子领域，用于解决决策问题。在强化学习中，主要分为两大类：模型自由（Model-Free）和模型基础（Model-Based）。什么是模型自由（Model-Free）的强化学习？模型自由的强化学习不依赖于环境的内部模型。换句话说，它直接从与环境的交互中学习如何采取行动。这种方法的代表性算法有Q-learning和SARSA。与其他技术的对比： 相较于监督学习，模型自由的强化学习更加强调通过实践来学习。
无模型（Model-Free）与有模型（Model-Based）强化学习：原理、区别与应用
热门推荐
weixin_37410657的博客
05-04 1万+
无模型强化学习和有模型强化学习是强化学习的两大类别，它们在学习方式、应用场景以及优缺点上都有明显的区别。无模型强化学习直接通过与环境的交互获取经验数据进行学习，而有模型强化学习则依赖于环境模型进行规划和决策。
强化学习算法系列（二）：Model-Free类方法——蒙特卡洛算法(MC)和时序差分算法(TD)
qq_44886972的博客
04-10 1329
上一章学习的值迭代算法和策略迭代算法均要依赖已知环境模型，强化学习中的环境模型指能够显式使用的状态转移概率矩阵Ps′∣saP(s′|s,a)Ps′∣sa和奖励函数RsaR(s,a)Rsa。在实际中，很多问题的状态变化概率是不确定，或者说是难以提前用准确的概率形式表达的。而奖励函数的设定在显示问题中更是难以直接得到。因此，我们需要在没有模型的情况下，找到问题的最优决策，这就需要我们本章要介绍的两大类算法——蒙特卡洛算法和时序差分算法。
《强化学习导论》经典课程10讲，DeepMind大神David Silver主讲
深度学习技术前沿
01-06 527
点击上方，选择星标或置顶，不定期资源大放送！阅读大概需要5分钟Follow小博主，每天更新前沿干货这个经典的10部分课程，由强化学习(RL)的驱David Silver教授，虽然录制于2...
model-base model-free强化学习
08-28
model-based强化学习和model-free强化学习是两种不同的强化学习方法。 Model-based强化学习是指在学习过程中使用环境模型来进行预测和规划。这种方法中，智能体首先试图建立一个环境模型，该模型能够预测在给定状态...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值