【强化学习】时序差分方法

原创 已于 2022-08-11 11:53:12 修改 · 1.5k 阅读 · 14 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#算法

于 2021-06-25 19:20:27 首次发布
本文深入探讨了强化学习中的时序差分(TD)方法，包括其与蒙特卡洛(MC)方法和动态规划(DP)的区别。通过具体实例解释了TD方法的工作原理，并对比了TD(0)和常量MC在批量训练下的性能。此外，还介绍了Sarsa和Q-learning两种重要的TD控制算法，以及Maximization Bias和Double Learning的概念。

目录

时序差分预测

 DP、MC、TD之间的区别

随机游走问题比较批量训练下的TD(0)和常量​MC的性能

Sarsa：On-policy 时序差分（TD）控制

Q-learning：Off-policy TD方法

on-policy和off-policy的区别

Maximization Bias和Double Learning

Expected Sarsa

Double Learning

时序差分预测

时序差分方法结合了蒙特卡洛方法和动态规划的思想，在强化学习中应用最为广泛。

（1）直接从智能体与环境交互的经验中学习。

（2）无须等待交互的结果，可以边交互边学习，不需要等整个episode结束。

预测问题：即给定强化学习的5个要素：状态集S，动作集A，即时奖励R，衰减因子\gamma，给定策略\pi，求解该策略的状态价值函数v(\pi )。

控制问题：也就是求解最优的价值函数的策略。给定强化学习的5个要素：状态集S，动作集A，即时奖励R，衰减因子\gamma，探索率\epsilon，求解最优的动作价值函数q_{*}和\pi _{*}。

已知every - visit的MC算法的价值计算函数是

在MC方法中，必须要等到episode结束，有了return之后才能更新，在有些应用中episode时间很长，或者是连续型任务，根本没有episodes。而TD方法只需要等到下一个time step即可，即在时刻T+1时，TD方法立即形成一个target，并使用观测到的Reward（R_{t+1}）和估计的V_{t+1}进行更新。比如最简单的TD(0)算法：

在TD(0)中，括号里的数值是一种误差，它衡量的是S_{t}的估计值与更好的估计R_{t+1}+\gamma V(S_{t+1})之间的差异，这个数值被称为TD误差。

\delta_{t}=R_{t+1}+\gamma V(S_{t+1})-V(S_{t})

 DP、MC、TD之间的区别

由上图可以看出，DP算法在计算某个状态S_{t}的价值时，会考虑接下来所有可能的状态S_{t+1}以及切换状态后所得r_{t+1}。

MC在更新一个状态时，只考虑其中一个分支（episode）来更新。所以MC需要生成很多个分支来提高准确性。

TD算法只需要考虑切换状态后所得奖励r_{t+1}和S_{t+1}。

最低0.47元/天 解锁文章
TD误差：引导价值函数更新
AI天才研究院
05-04 888
1. 背景介绍 强化学习，作为人工智能领域的一颗璀璨明珠，其核心目标在于让智能体通过与环境的交互，学习到最优的决策策略。在这个过程中，价值函数扮演着至关重要的角色，它评估了智能体在特定状态下采取特定动作所能获得的长期回报。而TD误差，则是价值函数更新的驱动力，它衡量了智能体对未来回报
强化学习（五）用时序差分法（TD）求解
comli_cn的博客
05-12 855
时序差分法和蒙特卡罗法类似，都是不基于模型的强化学习问题求解方法。所以在上一篇定义的不基于模型的强化学习控制问题和预测问题的定义，在这里仍然适用。预测问题：即给定强化学习的5个要素：状态集SSS, 动作集AAA, 即时奖励RRR，衰减因子γ\gammaγ, 给定策略π\piπ，求解该策略的状态价值函数vπv(\pi)vπ控制问题，也就是求解最优的价值函数和策略。给定强化学习的5个要素：状态集SSS, 动作集AAA, 即时奖励RRR，衰减因子γ\gammaγ。
强化学习——时序差分
weixin_43242381的博客
11-22 627
强化学习——时序差分
强化学习（2）TD Learning
最新发布
qq_43644023的博客
09-27 837
摘要： 时序差分学习（TD Learning）是深度Q网络（DQN）的核心优化算法，通过最小化TD误差（预测Q值与TD目标的差距）训练神经网络逼近最优动作价值函数。DQN用神经网络替代Q表，输出各动作概率（如超级玛丽中的上、左、右）。关键创新包括：1）TD目标（即时奖励+折后最大未来Q值）提供稳定训练信号；2）固定Q目标技术（目标网络定期同步在线网络参数）避免训练震荡。TD Learning使DQN能通过自身经验生成虚拟标签，实现无监督强化学习。
强化学习—时序差分算法
xiaonuonuoya的博客
04-08 1122
强化学习之时序差分算法简介
强化学习导论 | 第六章 时序差分方法
Firmiana1220的博客
03-12 761
前面讲到的动态规划方法和蒙特卡洛方法都可以用来计算价值函数。动态规划方法是model-based的，需要知道状态的转换概率，某个状态的价值是根据其后续的状态价值计算的；蒙特卡洛方法是model-free的，不需要知道状态的转换概率，某个状态的价值是根据从该状态开始到轨迹结束的折扣奖励来计算的。本章的时序差分方法是对动态规划方法和蒙特卡洛方法的结合，跟蒙特卡洛方法一样，也是根据经验来学习，而不需要知...
动手学强化学习（四）：时序差分算法 （Temporal Difference）
与君共勉，一起学习
05-06 8173
强化学习基础篇（四）：时序差分算法 （Temporal Difference）1. 简介2. 时序差分方法3. Sarsa 算法4. 多步 Sarsa 算法5. Q-learning 算法在线策略算法与离线策略算法6. 总结 文章转于 伯禹学习平台-动手学强化学习 （强推） 与君共勉，一起学习。 1. 简介   动态规划算法要求马尔可夫决策过程是已知的，即要求与智能体交互的环境是完全已知的（例如迷宫或者给定规则的网格世界）。在此条件下，智能体其实并不需要和环境真正交互来采样数据，直接用动态规划算法就可以解
强化学习之时序差分学习
weixin_44548214的博客
03-28 931
Temporal-Difference Learning (TD) 时序差分学习 (单步、表格型、无模型) 1、为什么要用TD 回顾MC算法，它是逐幕采样然后对完整的回报求平均。这里存在一些问题：首先，MC算法比较适用于分幕式任务并且要求每一幕必须会终止，难以胜任连续型任务；其次，MC算法需要一直等到一幕结束了才能获得 GtG_tGt​ 。TD算法可以较好地解决这两个问题。 2、TD 预测 之前我...
强化学习第七章：时序差分方法
qq_42828479的博客
07-01 829
值迭代和策略迭代算法可以边交互边学习，学习速度快，但是需要环境模型。蒙特卡洛方法从经验（交互结果）中采样学习，学习速度慢（需等Episode完成），不需要环境模型。时序差分方法不需要环境模型，能边交互边学习。MakaBaka想了想RM算法的迭代求解过程，点点了点头。
强化学习07——时序差分方法
catcatcatcx的博客
11-14 300
本篇博客内容源于课程《强化学习的数学原理》 赵世钰老师 西湖大学，旨在记录学习强化学习的过程。
【5】强化学习之时序差分方法（Sarsa和Q-learning）
weixin_42863507的博客
01-05 1334
目录1、时序差分预测1）与动态规划方法的比较2）与蒙特卡罗方法的比较3）时序差分预测伪代码2、Sarsa算法：在线策略的时序差分方法3、Q-learning算法：离线策略的时序差分方法4、Q-learning解决寻宝问题 蒙特卡罗方法可以在不知道环境特性的时候，通过与环境互动来估计状态（或状态-动作）的价值函数，但该方法也有一定的缺陷。首先，由于环境的动态特性，蒙特卡罗每次寻找的路径都可能不一样。其次，当状态空间比较大时，蒙特卡罗方法非常耗时，效率低，比如要走很多步才能到达终止状态。 在所有的强化学习思想中
强化学习丨n步时序差分算法(n-step Bootstrapping)及编程实践
qq_56937808的博客
12-18 3663
目录 一、算法介绍 二、n步时序差分预测 2.1 算法介绍 2.2 算法应用 三、n步Sarsa 3.1 算法介绍 3.2算法应用 四、n步离轨策略学习 4.1 算法介绍 4.2带控制变量的每次决策型方法 4.3 n步树回溯 4.3.1 算法介绍 4.3.2算法应用 五、总结 一、算法介绍 上篇文章对（单步）时序差分算法做了介绍： 强化学习丨时序差分算法TD(0)及相关编程仿真https://blog.youkuaiyun.com/qq_56937808/arti...
强化学习：蒙特卡罗，时序差分，多步时序差分
燕双嘤
03-16 2312
动态规划是基于模型的强化学习方法，但在实际情况下，环境的状态转移概率及回报往往很难得知，此种情况下，动态规划就不再适用了。这时候可考虑采用无模型方法通过采样的方式替代策略评估，蒙特卡罗方法就是基于这个思想。 
【强化学习】强化学习数学基础：时序差分方法
小哲的博客
03-08 948
强化学习的数学基础：时序差分方法，介绍TD learning方法、Sarsa算法，Expected Sarsa算法，n-step Sarsa算法，并最终介绍Q-learning算法。
基于时序差分的无模型强化学习：Q-learning 算法详解
python_plus的博客
09-05 1462
本文主要探讨无模型强化学习中的时序差分方法，重点介绍了 Q-learning 算法。通过阐述 Q-learning 的核心原理、状态-动作值函数的更新方式，以及其在离线策略中的应用，本文展示了该算法在复杂环境中寻找最优策略的强大能力。此外，还对比了 Q-learning 与其他强化学习方法的异同，强调了其在探索与利用平衡、样本复杂度上的优势。
强化学习（六）时序差分
m0_72748751的博客
02-29 1356
时序差分（TD）是强化学习的核心，其是蒙特卡罗（MC）和动态规划（DP）的结合。
强化学习（六）：时序差分方法
夏栀的博客
04-06 4644
强化学习（六）：时序差分方法   时序差分（TD）方法结合了动态规划与蒙特卡洛的思想，其可以像蒙特卡洛方法一样直接从智能体与环境互动的经验中学习，而不需要知道环境的模型，其又可以像动态规划一样无须等待交互的结果，可以边交互边学习。总的来说，时序差分是基于已得到的其他状态的估计值来更新当前状态的价值函数。如果没有学习动态规划部分，可以浏览博文强化学习（四）：基于表格型动态规划算法的强化学习，如果没有...
强化学习笔记(5)之时序差分法
fuzi2012的博客
06-03 2634
强化学习笔记(5)：时序差分法求值函数 标签（空格分隔）： 未分类 文章目录强化学习笔记(5)：时序差分法求值函数时序差分法与动态规划法和蒙特卡洛法的区别TD方法的反演同策略的时序差分法:SARSASARSA的收敛性SARSA($\lambda$) 时序差分法与动态规划法和蒙特卡洛法的区别 动态规划法(DP)： 需要状态模型，即状态转移矩阵Pss′aP_{ss'}^aPss′a...
时序差分强化学习详细介绍
07-20
时序差分强化学习（Temporal Difference Reinforcement Learning, TDRL）是一类强化学习算法，结合了动态规划和蒙特卡洛方法的思想。它通过使用经验数据进行增量式的更新，同时利用了当前和未来的估计值来逼近最优值函数。 时序差分强化学习方法的核心思想是通过估计值函数的差分来更新值函数的估计值。在每个时间步，智能体观察到当前状态、选择动作、观察到下一个状态和收到奖励。然后，根据差分误差（TD误差）来更新值函数的估计值。 TD误差定义为当前状态下的估计值与下一个状态的估计值之差加上即时奖励。TD误差可以表示为： TD_error = R + γV(s') - V(s) 其中，R是即时奖励，V(s)是当前状态s的估计值，V(s')是下一个状态s'的估计值，γ是折扣因子，用于衡量未来奖励的重要性。 根据TD误差，可以使用不同的更新规则来更新值函数的估计值。常见的时序差分强化学习算法包括以下几种： 1. SARSA（State-Action-Reward-State-Action）：SARSA算法使用状态-动作对的估计值来更新Q值函数的估计值。在每个时间步，智能体根据当前策略选择动作，观察到下一个状态和奖励，并根据TD误差来更新Q值函数的估计值。 2. Q-learning：Q-learning算法也是一种基于TD误差的更新规则，但它使用了下一个状态的最大估计值来更新Q值函数的估计值。在每个时间步，智能体根据当前策略选择动作，观察到下一个状态和奖励，并通过TD误差和最大估计值来更新Q值函数的估计值。 3. TD(λ)：TD(λ)算法是一种使用λ折扣因子的时序差分强化学习算法。它通过考虑未来多个时间步的估计值来更新值函数的估计值。TD(λ)算法将过去若干时间步的TD误差进行加权求和，并根据加权和来更新值函数的估计值。 时序差分强化学习方法具有较高的效率和适应性，可以在每个时间步骤中进行更新，不需要等到任务结束后才进行更新。它能够快速收敛到最优策略，并且可以处理具有部分可观测性和连续状态空间的问题。该方法在许多领域中都有广泛的应用，如机器人控制、游戏智能、自动驾驶等。
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值