David Silver UCL强化学习课程学习笔记一之Introduction to Reinforcement Learning

已于 2022-02-16 08:50:04 修改
阅读量803 收藏 1
点赞数
分类专栏： 强化学习 文章标签： 强化学习 人工智能 alphago
于 2022-01-30 19:33:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/dzcera/article/details/122746031
版权

Lecture 1: Introduction to Reinforcement
Learning
https://www.davidsilver.uk/teaching/

Admin

Website:
http://www.cs.ucl.ac.uk/staff/D.Silver/web/Teaching.html
Contact me: d.silver@cs.ucl.ac.uk

About Reinforcement Learning

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

The Reinforcement Learning Problem

之前的例子：
①强化学习是做出最佳决策的科学。它可以帮助我们制定活的物种所表现出的奖励动机行为。比方说，你想让一个孩子坐下来学习考试。要做到这一点非常困难，但是如果每次完成一章/主题时都给他一块巧克力，他就会明白，如果他继续学习，他会得到更多的巧克力棒。所以他会有一些学习考试的动机。
②孩子代表着Agent代理 。奖励制度和考试代表了Environment环境。今天的题目是类似于强化学习的States状态。所以，孩子必须决定哪些话题更重要（即计算每种行为的价值）。这将是我们的工作的 Value-Function价值方程。所以，每次他从一个国家到另一个国家旅行时，他都会得到Reward奖励，他用来在时间内完成主题的方法就是我们的Policy决策。

Rewards

所有的目标都可以用最大化的预期结果来描述积累的奖励。
在这里插入图片描述

Agent and Environment

在这里插入图片描述

History

history包含了一次经历中全部的observation、action和reward。

在这里插入图片描述

三种State

agent state 是 agent 内部状态，用于通过 observation 得到输出的 action。

environment state 是环境的私有状态，用于通过agent 的 action 得到定输出的 reward 和 observation。

information state 包含全部history中的information，是马尔可夫状态。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Inside An RL Agent（Major Components ）

An RL agent may include one or more of these components:
Policy: agent’s behaviour function
Value function: how good is each state and/or action
Model: agent’s representation of the environment
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Problems within Reinforcement Learning

RL代理人的分类方式

按照有无价值方程和策略分类
在这里插入图片描述
按照有无模型分类
在这里插入图片描述

逆强化学习 (Inverse Reinforcement Learning) 原理与代码实例讲解
AI天才研究院
05-31 3372
逆强化学习（Inverse Reinforcement Learning，简称IRL）是机器学习和人工智能领域中一个重要的研究方向。它的出现源于这样一个问题：在许多实际应用场景中，我们往往能够观察到专家或人类的行为，但却难以直接定义或量化这些行为背后的奖励函数。传统的强化学习假设奖励函数是已知的，而逆强化学习则试图从观察到的行为中推断出潜在的奖励函数。逆强化学习的概念最早由Stuart Russell在1998年提出，但直到2000年代中期才开始受到广泛关注。
David Silver深度强化学习课程 UCL Course on RL
01-29
David Silver深度强化学习课程PPT，供学习参考。学习过程中可参考网址UCL Course on RL ： http://www0.cs.ucl.ac.uk/staff/D.Silver/web/Teaching.html
Introduction to Reinforcement Learning
Vic_Hao的博客
05-26 906
Learning from interaction is a foundational idea underlying nearly all theories of learning and intelligence.The approach we explore, called reinforcement learning, is much more focused on goal-direct...
David Silver强化学习课程 Lecture 1: Introduction to Reinforcement Learning
KunBB的博客
03-22 816
.
Lecture1: Introduction to Reinforcement Learning
Dream_xd的博客
03-10 1115
文章目录Abour Reinforcement LearningThe Reinforcement Learning ProblemRewardEnvironmentsHistoryStateEnvironment State SteS_t^eSte​Agent State StaS_t^aSta​Inside An RL AgentProblems with Reinforcement Lear...
David Silver《Reinforcement Learning》课程解读—— Lecture 3： Planning by Dynamic Programming
科大一小僧
06-07 1977
David Silver《Reinforcement Learning》课程解读—— Lecture 3： Planning by Dynamic ProgrammingDP用来解决MDPs的planning问题，主要解决途径有policy iteration和value iteration。目录： Introduction Policy Evaluation Policy Iteration Va
强化学习David课件_David课件_强化学习_silver_源码
10-04
这个“强化学习David课件”是由David Silver教授提供的，他是伦敦大学学院（UCL）的一位著名教授，也是DeepMind的研究主管，因在AlphaGo项目中的贡献而闻名于世。 课程内容可能涵盖以下几个重要知识点： 1. **强化...
David Silver强化学习课程PPT资源下载指南
从文件名称列表可以看出，整个课件很可能被分割成多个部分，或者每个部分对应一个PPT文件，命名为“【强化学习】Reinforcement Learning Course by David Silver”，这表明资源的结构可能是按照课程的每个讲座或主题...
David Silver强化学习教程与资料集锦
Silver__RL”，这表明压缩包内可能只包含了与David Silver强化学习相关的材料，这通常是一套完整的教学材料，可能包含了PPT、讲义、视频链接等，对于学习强化学习的初学者和进阶者都是一个宝贵的学习资源。...
David Silver UCL强化学习课程学习笔记二之Markov Decision Processes 马尔可夫决策过程
dzcera的博客
02-01 660
Lecture 2: Markov Decision Processes https://www.davidsilver.uk/wp-content/uploads/2020/03/MDP.pdf
Reinforcement Learning: An Introduction
03-15
The authoritative textbook for reinforcement learning by Richard Sutton and Andrew Barto. Contents Preface Series Forward Summary of Notation I. The Problem 1. Introduction 1.1 Reinforcement Learning 1.2 Examples 1.3 Elements of Reinforcement Learning 1.4 An Extended Example: Tic-Tac-Toe 1.5 Summary 1.6 History of Reinforcement Learning 1.7 Bibliographical Remarks 2. Evaluative Feedback 2.1 An -Armed Bandit Problem 2.2 Action-Value Methods 2.3 Softmax Action Selection 2.4 Evaluation Versus Instruction 2.5 Incremental Implementation 2.6 Tracking a Nonstationary Problem 2.7 Optimistic Initial Values 2.8 Reinforcement Comparison 2.9 Pursuit Methods 2.10 Associative Search 2.11 Conclusions 2.12 Bibliographical and Historical Remarks 3. The Reinforcement Learning Problem 3.1 The Agent-Environment Interface 3.2 Goals and Rewards 3.3 Returns 3.4 Unified Notation for Episodic and Continuing Tasks 3.5 The Markov Property 3.6 Markov Decision Processes 3.7 Value Functions 3.8 Optimal Value Functions 3.9 Optimality and Approximation 3.10 Summary 3.11 Bibliographical and Historical Remarks II. Elementary Solution Methods 4. Dynamic Programming 4.1 Policy Evaluation 4.2 Policy Improvement 4.3 Policy Iteration 4.4 Value Iteration 4.5 Asynchronous Dynamic Programming 4.6 Generalized Policy Iteration 4.7 Efficiency of Dynamic Programming 4.8 Summary 4.9 Bibliographical and Historical Remarks 5. Monte Carlo Methods 5.1 Monte Carlo Policy Evaluation 5.2 Monte Carlo Estimation of Action Values 5.3 Monte Carlo Control 5.4 On-Policy Monte Carlo Control 5.5 Evaluating One Policy While Following Another 5.6 Off-Policy Monte Carlo Control 5.7 Incremental Implementation 5.8 Summary 5.9 Bibliographical and Historical Remarks 6. Temporal-Difference Learning 6.1 TD Prediction 6.2 Advantages of TD Prediction Methods 6.3 Optimality of TD(0) 6.4 Sarsa: On-Policy TD Control 6.5 Q-Learning: Off-Policy TD Control 6.6 Actor-Critic Methods 6.7 R-Learning for Undiscounted Continuing Tasks 6.8 Games, Afterstates, and Other Special Cases 6.9 Summary 6.10 Bibliographical and Historical Remarks III. A Unified View 7. Eligibility Traces 7.1 -Step TD Prediction 7.2 The Forward View of TD( ) 7.3 The Backward View of TD( ) 7.4 Equivalence of Forward and Backward Views 7.5 Sarsa( ) 7.6 Q( ) 7.7 Eligibility Traces for Actor-Critic Methods 7.8 Replacing Traces 7.9 Implementation Issues 7.10 Variable 7.11 Conclusions 7.12 Bibliographical and Historical Remarks 8. Generalization and Function Approximation 8.1 Value Prediction with Function Approximation 8.2 Gradient-Descent Methods 8.3 Linear Methods 8.3.1 Coarse Coding 8.3.2 Tile Coding 8.3.3 Radial Basis Functions 8.3.4 Kanerva Coding 8.4 Control with Function Approximation 8.5 Off-Policy Bootstrapping 8.6 Should We Bootstrap? 8.7 Summary 8.8 Bibliographical and Historical Remarks 9. Planning and Learning 9.1 Models and Planning 9.2 Integrating Planning, Acting, and Learning 9.3 When the Model Is Wrong 9.4 Prioritized Sweeping 9.5 Full vs. Sample Backups 9.6 Trajectory Sampling 9.7 Heuristic Search 9.8 Summary 9.9 Bibliographical and Historical Remarks 10. Dimensions of Reinforcement Learning 10.1 The Unified View 10.2 Other Frontier Dimensions 11. Case Studies 11.1 TD-Gammon 11.2 Samuel's Checkers Player 11.3 The Acrobot 11.4 Elevator Dispatching 11.5 Dynamic Channel Allocation 11.6 Job-Shop Scheduling Bibliography Index
An Introduction to Reinforcement Learning
09-26
Sutton 的 An Introduction to Reinforcement Learning. 基础教程。
David Silver的强化学习Reinforcement Learning课程PPT
12-18
David Silver的强化学习课程PPT Lecture 1: Introduction to Reinforcement Learning Lecture 2: Markov Decision Processes Lecture 3: Planning by Dynamic Programming Lecture 4: Model-Free Prediction Lecture 5: Model-Free Control Lecture 6: Value Function Approximation Lecture 7: Policy Gradient Methods Lecture 8: Integrating Learning and Planning Lecture 9: Exploration and Exploitation Lecture 10: Case Study: RL in Classic Games
强化学习 David Silver课程集合
11-11
强化学习 David Silver课程集合强化学习 David Silver课程集合
强化学习入门笔记 | UCL silver RL | UC Berkely cs285 DRL
111辄的博客
03-01 5214
先后听了两门课程，分别是David Silver的RL和Sergey Levin的DRL。各耗时一周左右，后者更难一些。
Reinforcement Learning：An Introduction 读书笔记- Chapter 1
PeytonPu的博客
11-05 1983
Reinforcement Learning: An Introduction第一章
深度强化学习cs294 Lecture3&Lecture4: Introduction to Reinforcement Learning
无所知的博客
11-23 419
深度强化学习cs294 Lecture3&Lecture4: Introduction toReinforcement Learning1. Definition of a Markov decision process2. Definition of reinforcement learning problem3. Anatomy of a RL algorithm4. Brief ov...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值