Reinforcement Learning:An Introduction第二章读书笔记

最新推荐文章于 2025-06-26 19:38:54 发布
最新推荐文章于 2025-06-26 19:38:54 发布
阅读量1.6k 收藏 5
点赞数
CC 4.0 BY-SA版权
分类专栏： 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_34719975/article/details/79933606

Part I:Tabular Solution Methods

在这一部分中我们描述了强化学习中几乎所有的核心思想。在这些问题中state和action空间足够小可以被估计值函数如队列，表来展示。在这些例子中，都能准确地找到最佳值函数和最佳策略。这与下一部分是不同的，下一部分模糊的解决，但适用范围更广。

这一部分的第一章介绍了强化学习的特殊例子，它只有一种情况，被称作bandit问题。第二章介绍了延续到本书剩余部分的通用问题形式化——有限马尔科夫决策过程。他的核心思想包括bellman equation 和value function。

接下来的三章介绍了解决有限马尔科夫问题的三类问题：动态编程，Monte Carlo method,和时序差分学习。每类方法都各有优缺点。

 

方法 评价
动态编程 可以发挥数学上计算优势（are well developed mathematically）,但是需要一个完全准确地环境模型。
Monte Carlo methond 不需要环境模型，概念简单，但不适合步进计算。
时序差分算法 不需要环境模型，完全步进，但分析十分复杂。

接下来的两章如何结合三种方法来最大化效果。在前一章中我们介绍了如何通过 multi-step bootstrapping method 来吧Monte Carlo methon和时序差分学习的优势结合起来，最后一章介绍了时序差分学习如何跟模型学习和计划方法（如动态规划）结合来提供一个完全的统一的解决表式强化学习问题的方法。

Chapter 2 Multi_armed Bandits

强化学习与其他类型的学习最显著的特征是它靠训练的信息评定action而不是通过给出正确的action来被指导。评定性反馈（evaluative）完全根据采取的行动，而指导性反馈（instructive）和采取的行动是独立的。

在这一章我们以最简单的方式来研究评定性强化学习，只涉及一种情况（situation）。学习这种非关联（nonassociative）问题可以简化完全强化学习问题，并清晰地掌握评定性判定与指导性的不同和结合。

2.1 k臂赌博机问题（A k-armed Bandit Problem）

简单来说有k个不同的选择，选择后得到reward，目标是最大化reward。在今天"bandit problem"一般就代表这类问题。

每个action都有期望reward，称为the value of the action。

At： 表示在t步的action     q*(a)：表示该action的期望reward    Qt(a) :estimate of the q*(a)

the greedy action:每次都选择最大的估计值的action，即max Qt(a).

explore ：选择非贪婪action,非最

最低0.47元/天 解锁文章

200万优质内容无限畅学
Reinforcement Learning: An Introduction
03-15
The authoritative textbook for reinforcement learning by Richard Sutton and Andrew Barto. Contents Preface Series Forward Summary of Notation I. The Problem 1. Introduction 1.1 Reinforcement Learning 1.2 Examples 1.3 Elements of Reinforcement Learning 1.4 An Extended Example: Tic-Tac-Toe 1.5 Summary 1.6 History of Reinforcement Learning 1.7 Bibliographical Remarks 2. Evaluative Feedback 2.1 An -Armed Bandit Problem 2.2 Action-Value Methods 2.3 Softmax Action Selection 2.4 Evaluation Versus Instruction 2.5 Incremental Implementation 2.6 Tracking a Nonstationary Problem 2.7 Optimistic Initial Values 2.8 Reinforcement Comparison 2.9 Pursuit Methods 2.10 Associative Search 2.11 Conclusions 2.12 Bibliographical and Historical Remarks 3. The Reinforcement Learning Problem 3.1 The Agent-Environment Interface 3.2 Goals and Rewards 3.3 Returns 3.4 Unified Notation for Episodic and Continuing Tasks 3.5 The Markov Property 3.6 Markov Decision Processes 3.7 Value Functions 3.8 Optimal Value Functions 3.9 Optimality and Approximation 3.10 Summary 3.11 Bibliographical and Historical Remarks II. Elementary Solution Methods 4. Dynamic Programming 4.1 Policy Evaluation 4.2 Policy Improvement 4.3 Policy Iteration 4.4 Value Iteration 4.5 Asynchronous Dynamic Programming 4.6 Generalized Policy Iteration 4.7 Efficiency of Dynamic Programming 4.8 Summary 4.9 Bibliographical and Historical Remarks 5. Monte Carlo Methods 5.1 Monte Carlo Policy Evaluation 5.2 Monte Carlo Estimation of Action Values 5.3 Monte Carlo Control 5.4 On-Policy Monte Carlo Control 5.5 Evaluating One Policy While Following Another 5.6 Off-Policy Monte Carlo Control 5.7 Incremental Implementation 5.8 Summary 5.9 Bibliographical and Historical Remarks 6. Temporal-Difference Learning 6.1 TD Prediction 6.2 Advantages of TD Prediction Methods 6.3 Optimality of TD(0) 6.4 Sarsa: On-Policy TD Control 6.5 Q-Learning: Off-Policy TD Control 6.6 Actor-Critic Methods 6.7 R-Learning for Undiscounted Continuing Tasks 6.8 Games, Afterstates, and Other Special Cases 6.9 Summary 6.10 Bibliographical and Historical Remarks III. A Unified View 7. Eligibility Traces 7.1 -Step TD Prediction 7.2 The Forward View of TD( ) 7.3 The Backward View of TD( ) 7.4 Equivalence of Forward and Backward Views 7.5 Sarsa( ) 7.6 Q( ) 7.7 Eligibility Traces for Actor-Critic Methods 7.8 Replacing Traces 7.9 Implementation Issues 7.10 Variable 7.11 Conclusions 7.12 Bibliographical and Historical Remarks 8. Generalization and Function Approximation 8.1 Value Prediction with Function Approximation 8.2 Gradient-Descent Methods 8.3 Linear Methods 8.3.1 Coarse Coding 8.3.2 Tile Coding 8.3.3 Radial Basis Functions 8.3.4 Kanerva Coding 8.4 Control with Function Approximation 8.5 Off-Policy Bootstrapping 8.6 Should We Bootstrap? 8.7 Summary 8.8 Bibliographical and Historical Remarks 9. Planning and Learning 9.1 Models and Planning 9.2 Integrating Planning, Acting, and Learning 9.3 When the Model Is Wrong 9.4 Prioritized Sweeping 9.5 Full vs. Sample Backups 9.6 Trajectory Sampling 9.7 Heuristic Search 9.8 Summary 9.9 Bibliographical and Historical Remarks 10. Dimensions of Reinforcement Learning 10.1 The Unified View 10.2 Other Frontier Dimensions 11. Case Studies 11.1 TD-Gammon 11.2 Samuel's Checkers Player 11.3 The Acrobot 11.4 Elevator Dispatching 11.5 Dynamic Channel Allocation 11.6 Job-Shop Scheduling Bibliography Index
Reinforcement Learning：An Introduction 读书笔记- Chapter 1
PeytonPu的博客
11-05 2053
Reinforcement Learning: An Introduction第一章
【强化学习】《Reinforcement Learning: An Introduction》（第二版）概述
最新发布
藓类少女的博客
06-26 925
Reinforcement Learning: An Introduction》（第二版）由Richard S. Sutton和Andrew G. Barto合著，是强化学习领域的经典教材，系统性地介绍了强化学习的基础理论、算法及应用。该书是强化学习领域的“圣经”，为后续研究（如PPO、SAC等算法）奠定了理论基础。第二版新增了深度强化学习等内容，更贴合现代发展。
An introduction to reinforcement learning
啦啦啦
06-07 992
Having taken a quick look at several overviews of reinforcement learning, I wrote a script here to conclude and take down some key concepts and points to help myself understand the reinforcement learn...
An introduction to Reinforcement Learning（一）
mike112223的博客
06-03 1092
https://www.freecodecamp.org/news/an-introduction-to-reinforcement-learning-4339519de419/ The Reinforcement Learning Process 依然以马里奥作为例子。RL的流程如下： Agent从env中接收到state S0S0S0（在这个例子中我们接受到的就是超级马里奥（env）里的游...
强化学习入门【An Introduction to Reinforcement Learning】——01
ASickboy的博客
04-29 1171
目录什么是强化学习与监督学习的不同之处与非监督学习的不同之处强化学习过程分幕式(episodic)和持续性(continuous)任务分幕式任务持续性任务如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入...
Reinforcement Learning: An Introduction 阅读笔记（一）
limn204的专栏
05-22 673
前言 开新坑系列…… 先来谈谈什么是强化学习，或者说增强学习。强化学习就是指再一个特定环境下，通过与环境交互，获得环境的反馈从而进行学习的智能算法。什么是特定环境呢？举个flappy bird的例子（博主的执念），flappy bird游戏的核心目标，就是使得玩家操作的鸟，不装到柱子上。作为人类，我们也会再游戏进程中无意或者有意的去发现一些规律，取得更高的分数。强化学习要做的就是将这种能力注意到学习算法上，也就是训练一个智能体（Agent） 从深蓝击败国际象棋冠军，到Alpha Go，星际争霸和Dota2的
强化学习导论(Reinforcement Learning: An Introduction)读书笔记(一)：强化学习介绍
热门推荐
嗯，就是Ta了
01-14 1万+
因为课题需要研究强化学习的内容，因此开始读这方面的书，Reinforcement Learning: An Introduction（Richard S. Sutton and Andrew G.Barto）第二版作为主要学习的资料，因为英语读起来不仅速度慢，而且理解的也没那么深入，因此为了记录学到的知识，并加深理解，同时也抱着分享的态度，开始写此系列的博客。 首先从第一章开始，第一章主要是对强
Multi-agent Reinforcement Learning: An Overview 读书笔记
weixin_43075594的博客
03-11 3474
Multi-agent Reinforcement Learning: An Overview 读书笔记目录abstractintroductionbackgroundbenefit and challengeMARL goalMARL algorithmapplicationexampleOutlookrelated workconclusion 目录 零，abstract 一，introduc...
Reinforcement Learning: An Introduction读书笔记 第五章 蒙特卡洛方法
joycethoreau的博客
07-10 305
第五章 蒙特卡洛方法Chapter 5 Monte Carlo Methods5.1 Monte Carlo Policy Evaluation5.2 Monte Carlo Estimation of Action Values5.3 Monte Carlo Control5.4 On-Policy Monte Carlo Control5.6 Off-Policy Monte Carlo Control Chapter 5 Monte Carlo Methods Monte Carlo methods
Reinforcement Learning: An Introduction 2018年 第二版和之前2015中文翻译版
05-14
强化学习导论2018年第二版，作者：Richard S. Sutton and Andrew G. Barto，是强化学习方面最权威的学者，以及2015年中文翻译版
Reinforcement Learning: An Introduction最新版习题解答（第一版本）
12-28
Reinforcement Learning: An Introduction最新版习题解答
增强学习导论（Reinforcement Learning An Introduction_Sutton）
09-05
本书作者是Richard S. Sutton，是增强学习领域的开山之作，虽然这本书不算太新，单它奠定了RL的基本理论框架，所以将它作为入门级的著作是十分有用的。
An_introduction_to_Reinforcement_Learning.pdf
03-31
scott的强化学习导论
An Introduction to Reinforcement Learning
09-26
Sutton 的 An Introduction to Reinforcement Learning. 基础教程。
Reinforcement Learning - An introduction
08-21
Reinforcement Learning - An introduction The best book for reinforcement learning
《Reinforcement Learning: An Introduction》强化学习导论英文教材自译中文版Chapter 1
weixin_43165844的博客
02-19 7970
Chapter 1 介绍 当我们思考学习的本质时，第一个来到我们脑海中的想法便是通过与环境互动来学习。当婴儿玩耍时、舞动双臂时或四处张望时，尽管没有一个明确存在的“导师”，但确是与环境产生了直接的观感联结。通过这种联结不断实践会产生大量的因果信息、行动结果信息以及能够用来指导我们如何行动以达成特定目标的信息。在生活中，这种互动无疑是我们了解自身与自身所处环境的主要来源。无论是学习如何驾驶一辆汽车还...
《Reinforcement Learning: An Introduction》强化学习导论原文翻译 17.6 人工智能的未来
阿涛的博客
01-03 966
当我们在20世纪90年代中期撰写本书的第一版时，人工智能正在取得重大进展并对社会产生影响，尽管人工智能仍然承诺会带来鼓舞人心的发展。机器学习是这种展望的一部分，但它尚未成为人工智能不可或缺的一部分。到目前为止，这一承诺已经转变为改变数百万人生活的应用程序，机器学习已经成为一项关键技术。在我们写第二版时，人工智能中一些最显著的发展涉及强化学习，最明显的是“深度强化学习”——通过深度人工神经网络进行函...
从零开始入门强化学习—— An Introduction to Reinforcement Learning
AI天才研究院
09-03 1235
作者：禅与计算机程序设计艺术 1.简介 强化学习（Reinforcement learning）是机器学习的一个领域，它研究如何基于环境（环境反馈给机器的奖励或惩罚信号），引导机器做出高效率、目标明确的决策。它的理论基础来源于控制论、信息论和博弈论。强化学习目前已经成为许多热门应用领域中的重要工具。如机
《Reinforcement Learning: An Introduction》第二版正式封面发布
1. 《Reinforcement Learning: An Introduction》第二版： 该书是强化学习领域的权威教材，第一版自出版以来就深受学术界和工业界的欢迎。作为该领域的经典入门书籍，它为读者提供了对强化学习这一机器学习子领域...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值