《reinforcement learning：an introduction》第一章《The Reinforcement Learning Problem》总结

最新推荐文章于 2025-09-11 16:17:19 发布
原创 最新推荐文章于 2025-09-11 16:17:19 发布 · 3.1k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#增强学习 #sutton RL #reinforcement learni #an introduction

本文是对Sutton的《reinforcement learning：an introduction》第一章的总结，介绍了强化学习的基本概念，如无监督学习的区别、环境互动、延迟反馈、探索与利用的权衡。强调了价值函数和策略在RL中的作用，对比了进化算法和RL的效率，并通过井字游戏示例解释了传统方法的局限性。同时概述了RL的历史和四个主要子元素：策略、奖励信号、价值函数及环境模型。

由于组里新同学进来，需要带着他入门RL，选择从silver的课程开始。

对于我自己，增加一个仔细阅读《reinforcement learning：an introduction》的要求。

因为之前读的不太认真，这一次希望可以认真一点，将对应的知识点也做一个简单总结。



Reinforcement learning problems involve learning what to do - how to map situations to actions - so as to maximize a numerical reward signal.


RL is different from supervised learning/unsupervised learning.

There is no supervisor (to tell what is best!), only a reward signal, must discover which actions yield the most reward by trying them out

action influence the environment and sub-sequential data; data distribution is not iid

Feedback is (sometimes) delayed, not instantaneous

trade-off between exploration and exploitation

for stochastic task, each action must be tried many times to gain a reliable estimate of its expected reward


最低0.47元/天 解锁文章
Reinforcement Learning: An Introduction (David Silver)
AI天才研究院
08-31 1093
作者：禅与计算机程序设计艺术 1.简介 强化学习（Reinforcement Learning，RL）是机器学习领域的一个重要分支。它是通过试错的方式来学习控制问题，最典型的应用就是游戏编程、智能驾驶等。它的特点是学习从环境中自动获得奖赏，并不断调整自身行为以最大化长期奖赏。在人工智能领域，深度强化学习
Reinforcement Learning: An Introduction - Richard S. Sutton Part 1: Tabular Solution Methods
chitoseyono的博客
02-25 684
RL: An Introduction Part 1: Tabular Solution Methods
《Reinforcement Learning: An introduction》第一章
cherryfeicherry的专栏
11-08 1173
目录 介绍 1.1 强化学习（Reinforcement Learning） 强化学习的特征    与监督学习（supervised learning）的区别    与非监督学习（unsupervised learning）的区别  难点与挑战  1.2 强化学习的要素 总结 介绍 Learning from interaction is a foundational ide...
强化学习经典教材《Reinforcement Learning: An Introduction》第二版详解
最新发布
weixin_42513870的博客
09-11 1004
马尔可夫过程（Markov Process, MP）是一种描述状态转移的随机过程，其核心特征是马尔可夫性质（Markov Property）：下一状态的出现仅依赖于当前状态，而与之前的历史状态无关。马尔可夫性质的形式化定义如下：设状态序列为 $ s_0, s_1, …, s_t $，则：这表示在时间 $ t $ 处于状态 $ s_t $ 的条件下，下一时刻的状态 $ s_{t+1} $ 的概率分布仅依赖于当前状态 $ s_t $。
Reinforcement Learning：An Introduction Chapter 1 Introduction
KunBB的博客
03-22 1601
Chapter 1: Introduction 人类与环境进行互动，学习环境如何响应我们的行为，并试图通过自身行为影响将来发生的事，这就是一种交互式的学习方式，是人类获取知识的主要来源，同时也是几乎所有学习和智能化理论的基本思想。强化学习正是一种从交互中学习的计算方法，它更侧重于从交互中进行目标导向的学习方式，而不是其他的机器学习方式。 1.1 Reinforcement Learning 强化...
Reinforcement Learning: An Introduction
03-15
The authoritative textbook for reinforcement learning by Richard Sutton and Andrew Barto. Contents Preface Series Forward Summary of Notation I. The Problem 1. Introduction 1.1 Reinforcement Learning 1.2 Examples 1.3 Elements of Reinforcement Learning 1.4 An Extended Example: Tic-Tac-Toe 1.5 Summary 1.6 History of Reinforcement Learning 1.7 Bibliographical Remarks 2. Evaluative Feedback 2.1 An -Armed Bandit Problem 2.2 Action-Value Methods 2.3 Softmax Action Selection 2.4 Evaluation Versus Instruction 2.5 Incremental Implementation 2.6 Tracking a Nonstationary Problem 2.7 Optimistic Initial Values 2.8 Reinforcement Comparison 2.9 Pursuit Methods 2.10 Associative Search 2.11 Conclusions 2.12 Bibliographical and Historical Remarks 3. The Reinforcement Learning Problem 3.1 The Agent-Environment Interface 3.2 Goals and Rewards 3.3 Returns 3.4 Unified Notation for Episodic and Continuing Tasks 3.5 The Markov Property 3.6 Markov Decision Processes 3.7 Value Functions 3.8 Optimal Value Functions 3.9 Optimality and Approximation 3.10 Summary 3.11 Bibliographical and Historical Remarks II. Elementary Solution Methods 4. Dynamic Programming 4.1 Policy Evaluation 4.2 Policy Improvement 4.3 Policy Iteration 4.4 Value Iteration 4.5 Asynchronous Dynamic Programming 4.6 Generalized Policy Iteration 4.7 Efficiency of Dynamic Programming 4.8 Summary 4.9 Bibliographical and Historical Remarks 5. Monte Carlo Methods 5.1 Monte Carlo Policy Evaluation 5.2 Monte Carlo Estimation of Action Values 5.3 Monte Carlo Control 5.4 On-Policy Monte Carlo Control 5.5 Evaluating One Policy While Following Another 5.6 Off-Policy Monte Carlo Control 5.7 Incremental Implementation 5.8 Summary 5.9 Bibliographical and Historical Remarks 6. Temporal-Difference Learning 6.1 TD Prediction 6.2 Advantages of TD Prediction Methods 6.3 Optimality of TD(0) 6.4 Sarsa: On-Policy TD Control 6.5 Q-Learning: Off-Policy TD Control 6.6 Actor-Critic Methods 6.7 R-Learning for Undiscounted Continuing Tasks 6.8 Games, Afterstates, and Other Special Cases 6.9 Summary 6.10 Bibliographical and Historical Remarks III. A Unified View 7. Eligibility Traces 7.1 -Step TD Prediction 7.2 The Forward View of TD( ) 7.3 The Backward View of TD( ) 7.4 Equivalence of Forward and Backward Views 7.5 Sarsa( ) 7.6 Q( ) 7.7 Eligibility Traces for Actor-Critic Methods 7.8 Replacing Traces 7.9 Implementation Issues 7.10 Variable 7.11 Conclusions 7.12 Bibliographical and Historical Remarks 8. Generalization and Function Approximation 8.1 Value Prediction with Function Approximation 8.2 Gradient-Descent Methods 8.3 Linear Methods 8.3.1 Coarse Coding 8.3.2 Tile Coding 8.3.3 Radial Basis Functions 8.3.4 Kanerva Coding 8.4 Control with Function Approximation 8.5 Off-Policy Bootstrapping 8.6 Should We Bootstrap? 8.7 Summary 8.8 Bibliographical and Historical Remarks 9. Planning and Learning 9.1 Models and Planning 9.2 Integrating Planning, Acting, and Learning 9.3 When the Model Is Wrong 9.4 Prioritized Sweeping 9.5 Full vs. Sample Backups 9.6 Trajectory Sampling 9.7 Heuristic Search 9.8 Summary 9.9 Bibliographical and Historical Remarks 10. Dimensions of Reinforcement Learning 10.1 The Unified View 10.2 Other Frontier Dimensions 11. Case Studies 11.1 TD-Gammon 11.2 Samuel's Checkers Player 11.3 The Acrobot 11.4 Elevator Dispatching 11.5 Dynamic Channel Allocation 11.6 Job-Shop Scheduling Bibliography Index
《reinforcement learning：an introduction》第三章《Finite Markov Decision Processes》总结
mmc2015的专栏
07-12 1584
由于组里新同学进来，需要带着他入门RL，选择从silver的课程开始。 对于我自己，增加一个仔细阅读《reinforcement learning：an introduction》的要求。 因为之前读的不太认真，这一次希望可以认真一点，将对应的知识点也做一个简单总结。 应用RL解决实际问题，目前已有的算法总的来说还是可以的，主要是要设计好能够反映问题本质的state/rewa
Reinforcement Learning: An Introduction 阅读笔记（一）
limn204的专栏
05-22 704
前言 开新坑系列…… 先来谈谈什么是强化学习，或者说增强学习。强化学习就是指再一个特定环境下，通过与环境交互，获得环境的反馈从而进行学习的智能算法。什么是特定环境呢？举个flappy bird的例子（博主的执念），flappy bird游戏的核心目标，就是使得玩家操作的鸟，不装到柱子上。作为人类，我们也会再游戏进程中无意或者有意的去发现一些规律，取得更高的分数。强化学习要做的就是将这种能力注意到学习算法上，也就是训练一个智能体（Agent） 从深蓝击败国际象棋冠军，到Alpha Go，星际争霸和Dota2的
《Reinforcement Learning: An Introduction》强化学习导论英文教材自译中文版Chapter 1
weixin_43165844的博客
02-19 8127
Chapter 1 介绍 当我们思考学习的本质时，第一个来到我们脑海中的想法便是通过与环境互动来学习。当婴儿玩耍时、舞动双臂时或四处张望时，尽管没有一个明确存在的“导师”，但确是与环境产生了直接的观感联结。通过这种联结不断实践会产生大量的因果信息、行动结果信息以及能够用来指导我们如何行动以达成特定目标的信息。在生活中，这种互动无疑是我们了解自身与自身所处环境的主要来源。无论是学习如何驾驶一辆汽车还...
Reinforcement learning an introduction中文pdf
08-25
Reinforcement learning an introduction中文pdf
Reinforcement Learning: An Introduction 2018年 第二版和之前2015中文翻译版
05-14
强化学习导论2018年第二版，作者：Richard S. Sutton and Andrew G. Barto，是强化学习方面最权威的学者，以及2015年中文翻译版
Reinforcement Learning: An Introduction最新版习题解答（第一版本）
12-28
Reinforcement Learning: An Introduction最新版习题解答
Reinforcement Learning：An Introduction.pdf
02-06
Reinforcement Learning: An Introduction Second edition, in progress November 5, 2017 Richard S. Sutton and Andrew G. Barto The text is now complete, except possibly for one more case study to be added to Chapter 16. The references still need to be thoroughly checked, and an index still needs to be
强化学习第二版（翻译）第一章 导论 第三节 强化学习的要素 1.3 Elements of Reinforcement Learning
thousandsofwind的博客
03-27 933
在代理和环境之外，强化学习系统一般有四个主要元素：一个策略，收益信号，价值函数，和一个可选的环境模型。    策略定义了学习代理在给定时间内的行为方式。简单来说，政策是从环境到在这些状态下采取的行动的映射。它符合心理学中所谓的一系列刺激反应规则或关联。在某些情况下，策略可能是一个简单的函数或查找表，而在其他情况下，它可能涉及到大量的计算，如搜索过程。该策略是增强学习代理的核心，因为它本身就足以确定...
Reinforcement Learning An Introduction~Reinforcement Learning
coolsunxu的博客
11-15 614
第一章   介绍   当我们考虑学习的本质时，我们首先想到的可能是通过与环境互动学习。当一个婴儿玩耍，挥动手臂或环顾四周时，它没有明确的老师，但它确实与其环境有直接的感觉运动联系。通过这种联系可以产生大量关于因果关系的信息，关于动作的后果，以及为实现目标应该做些什么。在我们的生活中，这种互动无疑是关于我们的环境和我们自己的主要知识来源。无论我们是学习驾驶汽车还是进行对话，我们都敏锐地意识到...
Reinforcement Learning an introduction (1)
weixin_47560863的博客
03-02 588
基础知识 马可夫性质 数学解释: P(st+1,rt+1∣st,at)=P(st+1,rt+1∣s0,a0,s1,a1,...,st,at) P(s_{t+1},r_{t+1}|s_t,a_t) = P(s_{t+1},r_{t+1}|s_0,a_0,s_1,a_1,...,s_t,a_t) P(st+1​,rt+1​∣st​,at​)=P(st+1​,rt+1​∣s0​,a0​,s1​,a1​,...,st​,at​) 理解: 下个状态只取决于当前状态与动作，与历史无关 当环境不满足马可夫性质
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值