《reinforcement learning：an introduction》第十一章《Off-policy Methods with Approximation》总结

最新推荐文章于 2021-08-08 21:01:08 发布
原创 最新推荐文章于 2021-08-08 21:01:08 发布 · 841 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#增强学习 #sutton RL #reinforcement learni #an introduction

本文总结了Sutton的《强化学习：介绍》第十一章，讨论了离策略方法与函数近似的结合可能导致的不稳定性与发散问题。尽管存在Baird's Counterexample展示的潜在风险，但在某些条件下，如行为策略接近估计策略时，Q-learning可能保持收敛。离策略学习、可扩展的函数近似和bootstrapping的组合是引发不稳定性的重要因素。

由于组里新同学进来，需要带着他入门RL，选择从silver的课程开始。

对于我自己，增加一个仔细阅读《reinforcement learning：an introduction》的要求。

因为之前读的不太认真，这一次希望可以认真一点，将对应的知识点也做一个简单总结。





The tabular off-policy methods developed in Chapters 6 and 7 readily extend to semi-gradient algorithms, but these algorithms do not converge nearly as robustly as in the on-policy case.  The on-policy distribution is special and is important to the stability of semi-gradient methods. 





Methods developed in earlier chapters for the off-policy case extend readily to function approximati

最低0.47元/天 解锁文章
强化学习（RLAI）读书笔记第十一章 Off-policy Methods with Approximation
无所知的博客
09-15 2707
本书第五章就已经讲解过分别使用on-policy和off-policy方法来解决GPI框架里固有的explore和exploit的矛盾。前两章已经讲了on-policy情形下对于函数近似的拓展，本章继续讲解off-policy下对函数近似的拓展，但是这个拓展比on-policy时更难更不同。在第六第七章中讲到的off-policy方法可以拓展到函数近似的情况下，但是这些方法在半梯度法下不能像在on...
强化学习系列（十一）：Off-policy Methods with Approximation
LagrangeSK的博客
09-05 4460
一、前言 针对Policy iteration 中存在的exploitation问题，在第五章中将强化学习算法分为on-policy算法和off-policy算法。前两章中，我们讨论了对on-policy问题的函数逼近，本章中将重点介绍off-policy问题的函数逼近。两者差异很大。第六章、第七章中出现的 tabular off-policy 方法很容易用semi-gradient方法进行扩展...
强化学习（RLAI）读书笔记第十章On-Policy Control with Approximation
无所知的博客
09-13 1255
目前继续考虑on-policy的带逼近的control算法。这章主要介绍半梯度Sarsa算法，也就是半梯度TD(0)算法对于动作值估计以及on-policy control算法的自然延伸。虽然这个延伸对于episodic的情况是很自然的，但是对于continuing的情况，我们需要再次考虑对于discounting方法来定义一个最优策略的方式。而当我们使用函数逼近的时候需要放弃discountin...
11、Off-policy Methods with Approximation
JacobJiang的博客
04-28 206
文章目录1、Semi-gradient Methods   1、Semi-gradient Methods 学习引导性的 off-policy 的结果是相当不同的，而且在近似情况下比表格情况下更加困难。 第6章和第7章中提到的表格形式的 off-policy 方法很容易扩展到半梯度算法，但是这些算法的收敛性不如 on-policy 情况下的那么好。 在这一章中，我们探讨了收敛问题，仔细...
《reinforcement learning：an introduction》第九章《On-policy Prediction with Approximation》总结
mmc2015的专栏
08-07 1498
由于组里新同学进来，需要带着他入门RL，选择从silver的课程开始。 对于我自己，增加一个仔细阅读《reinforcement learning：an introduction》的要求。 因为之前读的不太认真，这一次希望可以认真一点，将对应的知识点也做一个简单总结。 9.1 Value-function Approximation . . . . . . .
《reinforcement learning：an introduction》第六章《Temporal-Difference Learning》总结
mmc2015的专栏
07-25 1880
由于组里新同学进来，需要带着他入门RL，选择从silver的课程开始。 对于我自己，增加一个仔细阅读《reinforcement learning：an introduction》的要求。 因为之前读的不太认真，这一次希望可以认真一点，将对应的知识点也做一个简单总结。 注意：本章考虑model-free的prediction和control，仍然有两种方法，pol
Reinforcement Learning: An Introduction
03-15
The authoritative textbook for reinforcement learning by Richard Sutton and Andrew Barto. Contents Preface Series Forward Summary of Notation I. The Problem 1. Introduction 1.1 Reinforcement ...
【Advanced Level】Reinforcement Learning Algorithms: Q-Learning and Policy Gradient Methods in ...
# [Advanced Series] Reinforcement Learning Algorithms: Q-Learning and Policy Gradient Methods in MATLAB ## 1. Basics of Reinforcement Learning** Reinforcement learning is a paradigm of machine ...
Approximately Optimal Approximate Reinforcement Learning PDF下载
10-07
论文Trust Region Policy Optimization最重要的参考文献之一，TRPO原理的来源和依据之一
强化学习系列（十）：On-policy Control with Approximation
LagrangeSK的博客
08-24 2784
一、前言 本章我们关注on-policy control 问题，这里采用参数化方法逼近action-value函数 q̂ (s,a,w)≈q(s,a)q^(s,a,w)≈q(s,a)\hat q(s,a,\mathbf w) \approx q(s,a)，其中，ww\mathbf w为权重向量。在11章中会讨论off-policy方法。本章介绍了semi-gradient Sarsa算...
A. Counterexample
无知的我
11-02 1499
解题说明：此题是要求(a,b),(b,c)最大公约数都为1，但是(a,c)最大gongyue
【论文解读】解读TRPO论文，深度强化学习结合传统优化方法
fengdu78的博客
01-04 2299
导读：本论文由Berkeley 的几位大神于2015年发表于 JMLR（Journal of Machine Learning Research）。深度强化学习算法例如DQN或者PG（P...
深度增强学习（DRL）漫谈 - 信赖域（Trust Region）系方法
热门推荐
世事难料，保持低调
09-16 2万+
一、背景深度学习的兴起让增强学习这个古老的机器学习分支迎来一轮复兴。它们的结合领域-深度增强学习（Deep reinforcement learning, DRL）随着在一系列极具挑战的控制实验场景及其它跨领域的成功应用，现在已是各大顶级AI会议的热门topic之一。之前两篇杂文深度增强学习（DRL）漫谈 - 从DQN到AlphaGo和深度增强学习（DRL）漫谈 - 从AC（Actor-Critic
论文笔记之TRPO
Ton的博客
08-08 4480
TRPO、PPO是强化学习里比较重要的2种RL算法，目前Openai的官方算法就是用的PPO，因此学习其理论变得尤为重要。 TRPO是PPO的前身，因此学习TRPO是必须的。 论文地址，点这里 TRPO:Trust Region Policy Optimization，即信任区域策略优化，我刚开始看到这个算法的时候，第一个疑问就是这个区域指的是什么，特有什么特别之处？ Trust Region Policy OptimizationAbstract1 Introduction2 Preliminaries3
《强化学习》中的第11章：基于函数逼近的离轨策略方法
记录学习痕迹的公众号：Piper蛋窝
03-15 1539
总的来说，第11章学习体验不好。可能是由于内容本身比较抽象，第11章属于星标章节。练习题没有引起我的兴趣。还有一点比较令人失望：尽管本章讨论了不少更新目标与算法（其中很多为反例），并给出了大量带有矩阵的计算公式，但实例并不多。因此，我认为理解其大概思想便可。
强化学习中的off-policy 和on-policy
u013615687的博客
05-01 1万+
强化学习可以分成off-policy（离线）和on-policy（在线）两种学习方法，按照个人理解，判断一个强化学习是off-policy还是on-policy的依据在于生成样本的policy（value-funciton）和网络参数更新时的policy（value-funciton）是否相同。off-policy的经典算法有Q-learning，而on-policy的经典算法有SARSA算法，两者
后台布局之反例
weixin_30932215的博客
04-06 122
<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Title</title> <style> .pg-header{ height: 48px;...
pbe近似_强化学习导论（十一）- Off-Policy的近似方法
weixin_33724759的博客
02-08 496
前两章(9、10 章)已经讲了on-policy 情形下对于函数近似的拓展，本章继续讲解 off-policy 下对函数近似的拓展，但是这个拓展比on-policy时更难更不同。在第六第七章中讲到的 off-policy 方法可以拓展到函数近似的情况下，但是这些方法在半梯度法下不能像在 on-policy 下一样良好地收敛。Off-policy 在函数逼近时有两大难点：update target ...
11. 基于近似的离线策略方法--阅读笔记【Reinforcement Learning An Introduction 2nd】
木易进
08-24 565
文章目录基于近似的离线策略方法前言1.半梯度方法2.off-policy发散的例子2.1 MDP中取出两个状态baird counterexample贝尔德反例Tsitsiklis and Van Roy’s Counterexample3. 死亡三角/死亡三元组4. 线性值函数几何学5. 贝尔曼误差中的梯度下降6.贝尔曼误差的不可学习性7.梯度TD方法8. Emphatic-TD方法9. 减小方差总结 基于近似的离线策略方法 前言 on-policy和off-policy方法是处理GPI中探索和利用矛盾的
深度强化学习教程：配套《Reinforcement Learning：An Introduction》代码解析
《Reinforcement Learning: An Introduction》的配套代码，即“reinforcement-learning-an-introduction-master”项目，为读者提供了一个实用的实验平台，通过编写和运行代码来更深入地理解和实现书中的理论。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值