(David Silver深度强化学习) - Lecture1: Introduction to RL

Deep Reinforcement Learning 深度增强学习资源 1 学习资料增强学习课程 David Silver (有视频和ppt):http://www0.cs.ucl.ac.uk/staff/D.Silver/web/Teaching.html最好的增强学习教材:Reinforcement Learning: An Introductionhttps://webdocs.cs.ualberta.ca/~sutton/book/the-book.html 深 阅读详情

David Silver deep reinforcement learning course in 2019. For document and discussion.

Lecture1:Introduction

Outline

Ⅰ The RL Problem

1.Reward

  • reward RtR_tRt​ 是一个标量的反馈信号

  • 表明agent的每一步的执行效果

  • agent目标:将累积奖励最大化

  • 课程提出的奖励的假说:

    All goals can be described by the maximization of expected cumulative reward.

    所有目标都能被表述为期望累积奖励的最大化

2.Seqential Decision Making

  • Goal:选择使未来总体目标最大化的action
  • Action可能有长期的影响
  • reward可能会延迟
  • 为了获得更长远的reward,也许牺牲眼前的reward可能会更好→金融投资

3.Agent and Environment

  • 下图大脑代表agent,其中包含有一系列算法来调整action
  • 地球代表environment

学生提问:多目标时如何处理?

答:给不同的目标赋予不同权重,agent根据权重采取action

4.State

  • history: observations、actions、rewards所组成的序列

    • 所有观测变量取决于t

    • 未来发生的事情决定于history(agent选择action,env选择observations/rewards)

      ​ Ht=Ot,R1,A1,...,At−1,Ot,RtH_t = O_t, R_1, A_1, ..., A_{t-1},O_t, R_tHt​=Ot​,R1​,A1​,...,At−1​,Ot​,Rt​

RL要实现的算法就是从history到下一个action的映射

  • state: 用来决定下一步action。state是history的函数

    ​ St=f(Ht)S_t=f(H_t)St​=f(Ht​)

    1.environment state SteS_t^eSte​: 环境选择下一个observation/reward的数据集合,对于agent通常是不可见的,即便可见也是属于干扰信息。

    2.agent state StaS_t^aSta​ : 存在于算法中,表示agent用于挑选下一个action的信息,也可以是history的函数Sta=f(Ht)S_t^a=f(H_t)Sta​=f(Ht​)

    3.information state(a.k.a Markov state):基于信息论的概念,其包含history中全部的有用信息

在这里插入图片描述

  • Markov State: 当且仅当StS_tSt​满足P[St+1∣St]=P[St+1∣S1,...,St]P[S_{t+1}|S_t]=P[S_{t+1}|S_1,...,S_t]P[St+1​∣St​]=P[St+1​∣S1​,...,St​]时,StS_tSt​为Markov
  • “The future is independent of the past given the present”
  • 也就是说state可知时,history可丢弃
  • Rat Example

在这里插入图片描述

5.Environment

  • Fully Observable Environments: agent可直接观测到environment state
    • Ot=Sta=SteO_t=S_t^a=S_t^eOt​=Sta​=Ste​
    • agent state = environment state=information state
    • 这是一个Markov decision process(MDP),即马可夫决策过程
  • Partially Observable Environments: agent并不能观测到环境的全部信息
    • agent state ≠ environment state
    • 这是一个partially observable Markov decision process(POMDP)
    • agent必须创建自己的状态表示StaS_t^aSta​
      • e.g.1 利用history: Sta=HtS_t^a=H_tSta​=Ht​
      • e.g.2 利用env state的概率: Sta=(P[Ste=s1],...,P[Ste=sn])S_t^a=(P[S_t^e=s^1],...,P[S_t^e=s^n])Sta​=(P[Ste​=s1],...,P[Ste​=sn])
      • e.g.3 利用神经网络线性模型: Sta=σ(St−1aWs+OtWo)S_t^a=σ(S_{t-1}^aW_s+O_tW_o)Sta​=σ(St−1a​Ws​+Ot​Wo​)

Ⅱ Inside An RL Agent

1.RL agent的主要组成

policy, value function, model

  • policy: agent的行为函数,以状态作为输入下一步的行为决策作为输出,用于选择action。

    • state到action的映射,即$a=π(s) $
    • 期望采用的policy采用的action能得到更多的reward
    • Stochastic policy(随机policy): π(a∣s)=P[At=a∣St=s]π(a|s)=P[A_t = a|S_t = s]π(a∣s)=P[At​=a∣St​=s]
  • value function:用于表示agent采取某个action后的好坏,预期reward是多少等,用于评估在某种情况下agent的行为,用于最优化action。

    • value function是对未来reward的预测(how much total reward we expected in the future),用以评估state的好坏

    • 基于action的函数vπ(s)=Eπ[Rt+1+γRt+2+γ2Rt+3+...∣St=s]v_π(s)=E_π[R_{t+1}+γR_{t+2}+γ^2R_{t+3}+...|S_t=s]vπ​(s)=Eπ​[Rt+1​+γRt+2​+γ2Rt+3​+...∣St​=s]

    其中γγγ为折扣因子(discount factor),一步步降低每一步的reward,直到reward可忽略, 即达到value的最大化和action的最优化)

  • model: agent感知环境而对环境做出的表示,即agent是通过model来判断环境变化的。

    • 预测环境会做出何反应
    • Transitions model: PPP 预测下一个环境的state(动态特性),这个模型函数表示基于之前的state和action,环境处于下一个state的概率
    • Reward model: RRR 预测下一个(immediate)reward,这个模型函数表示预期的reward是基于当前的state和action。

在这里插入图片描述

注意:model并不总是必需环节

2.Maze Example(迷宫)

  • 在迷宫例子中,rewards每过一个时间t就-1(意味着agent需要找到最快的路径走出迷宫),actions为东南西北四个,states为agent所处位置

在这里插入图片描述

  • policy: 每个state对应的policy π(s)π(s)π(s)

在这里插入图片描述

  • value: 每个state对应的value vπ(s)v_π(s)vπ​(s)
    在这里插入图片描述

  • Model:

    • 方格表示transition model
    • 方格中的数字表示immediate reward

在这里插入图片描述

3.RL agents的分类

  • 第一种分类

    • Value Based: No Policy (Implicit) ;Value Function
    • Policy Based: Policy;No Value Function
    • Actor Critic: Policy + Value Function

    注意:前两种分类中,如No Policy表示的是agent仅基于Value Funtion就可以判断和采取action,如2.Maze Example中,由Value Function的图可知,基于Value Function其实就已经可以判断出下一步的action了。No Value Function同。

  • 第二种分类

    • Model Free: Policy and/or Value Function;No Model
    • Model Based: Policy and/or Value Function + Model

    Model Free表示agent不会尝试理解环境,不会创建一个动态特性模型来表示该如何action,而直接使用Policy, Value Function的经验

在这里插入图片描述

Ⅲ Problems within RL

以下是RL中的一些问题

1.Learning and Planning(学习与规划)

在连续决策中有两大基本问题

  • Reinforcement Learning (学习)

    • 环境的初始状态是未知的(如Atari games中,agent不知道游戏的规则)
    • agent和环境交互,获取环境的observation, reward
    • agent会根据环境提供的observation, reward改进其policy
  • Planning (规划)

    • 环境的model是已知的(如Atari games中,agent知道游戏的规则)
    • agent根据环境model进行计算(无外部干涉,即无需与环境进行真实交互)
    • agent改进其policy

    总结:RL就是在与环境交互中学习,而Planning是根据model来计算

2.Exploration and Exploitation (探索和开发)

  • RL是试错学习(trail-and-error learning),不断尝试哪些action是好的,哪些是不好的,在这些过程中会失去reward
  • agent的目标是根据其经验找到一个最优的policy,而不至于失去太多的reward
  • 平衡Exploration和Exploitation
    • Exploration: 放弃部分reward,找到有关环境的更多信息
    • Exploitation: 开发已知信息来最大化reward

3.Prediction and Control (预测和控制)

  • Prediction: 估计未来,即根据给定的policy来估计能获得多少reward
  • Control: 优化未来,即找到最优的policy

在RL中,需要解决Prediction问题进而解决Control问题,需要估计所有的policy以获取最优的policy

  • Gridworld Example

    • Prediction: 采用均匀随机policy,获取value的表格如右图所示。

在这里插入图片描述

  • Control: 根据已有的policy获取最优的policy以获得最多的reward

在这里插入图片描述

References

https://www.bilibili.com/video/BV1kb411i7KG?from=search&seid=5362588914313557002

https://blog.youkuaiyun.com/u013745804/category_7216686.html

http://www0.cs.ucl.ac.uk/staff/d.silver/web/Teaching.html

(转载整理自网络,如有侵权,联系本人删除,仅供技术总结使用)

Introduction to Reinforcement Learning 深度学习暑期学校课件 Reinforcement Learning: From basic concepts to deep Q-networks Joelle Pineau McGill University Deep Learning Summer School August 2016 立即下载

相关推荐

Deep Reinforcement Learning by David Silver, Google DeepMind

强化学习经典入门资料,Deep Reinforcement Learning by David Silver, Google DeepMind。

Intro to RL Lecture1

Intro to Reinforcement Learning:Lecture 1第一章的概览课程介绍课程的结构推荐书目学习的准备什么是强化学习?监督学习:图像分类强化学习:玩Breakout游戏强化学习与监督学习的不同之处强化学习的特点大事件:AlphaGo强化学习的例子RL的例子:Pong深度强化学习(深度学习+强化学习)为什么现在RL成功了?序列决策的介绍智能体Agent和环境Environment奖励Reward序列决策RL Agent的主要元素Policy价值函数模型MDP马尔可夫决策过程基于Ag

qq_38860681的博客 718

Google DeepMind的David Silver的强化学习课程讲义

Google DeepMind的David Silver的强化学习课程讲义,包括Markov Decision Processes、Planning by Dynamic Programming、Model-Free Prediction、Model-Free Control、Function Approximation、Policy Gradient Methods、Integrating Learning and Planning、Exploration and Exploitation以及游戏案例分析。视频:https://www.youtube.com/playlist?list=PL5X3mDkKaJrL42i_jhE4N-p6E2Ol62Ofa

SpinningUp Introduction to RL(一)

Key Concepts in RL what can RL do 模拟计算机控制机器人完成指令 完成复杂的策略游戏 Key Concepts and Terminology 略,已学习 Kinds of RL Algorithms A Taxonomy of RL Algorithms(分类) 介绍最基本的设计选择在如何和怎样学习方面(基于RL) 揭露这其中的权衡 加入著名的现代算法进...

JasonSparrow_1的博客 524

David Silver的强化学习Reinforcement Learning课程PPT

David Silver的强化学习课程PPT Lecture 1: Introduction to Reinforcement Learning Lecture 2: Markov Decision Processes Lecture 3: Planning by Dynamic Programming Lecture 4: Model-Free Prediction Lecture 5: Model-Free Control Lecture 6: Value Function Approximation Lecture 7: Policy Gradient Methods Lecture 8: Integrating Learning and Planning Lecture 9: Exploration and Exploitation Lecture 10: Case Study: RL in Classic Games

企业数字化转型AI大模型赋能智能体平台及AI场景应用规划方案(生态合作版).pptx

企业数字化转型AI大模型赋能智能体平台及AI场景应用规划方案(生态合作版).pptx

RLChina_Lecture01_《Introduce to Reinforcement Learning and Value-based Methods》_notebook

Lecture01:《Introduce to Reinforcement Learning and Value-based Methods》 文章目录Lecture01:《Introduce to Reinforcement Learning and Value-based Methods》1. Introduction to RL1.1 About RL1.2 RL Problem1.2.1 Definition of RL problem1.2.2 Inside An RL Agent1.2.3 Ca

yuandong_D的博客 1844

【论文笔记】LIME: low-light image enhancement via illumination map estimation

【论文笔记】LIME: low-light image enhancement via illumination map estimation 一篇低光图像增强,引用超1000次的经典论文

weixin_45565519的博客 1795

强化学习介绍(RL)

机器学习有三大分支,监督学习、无监督学习和强化学习,强化学习是系统从环境学习以使得奖励最大的机器学习。人工智能中称之为强化学习,在控制论中被称之为动态规划,两者在概念上是等价的。也被翻译为增强学习。

MLer 8461

【QEMU系统分析之TPM篇(一)】

本文以 QEMU 8.2.2 为例,分析其 TPM-emulator 模块的实现,并为 QEMU 添加 Windows 平台的TPM 模拟器的支持。

David唐辉的博客 1192

RLChina学习笔记(一) Introduction to Reinforcement Learning and MDP

RLChina学习笔记(一) Introduction to Reinforcement Learning and Value-based MethodsReinforcement Learning 简介关于强化学习 RLRL的特点RL问题RL方法分类马尔可夫决策过程(Markov Decision Processes )基于价值的方法 Value-based Methods动态规划DP(Dynamic Programming)蒙特卡洛MC (Monte Carlo)时序差分学习TD(Temporary D

weixin_43757695的博客 673

【Telephony】Telephony总纲!Phone进程流程(AOSP)

整个Framework层的Telephony框架运行在一个叫做Phone(com.android.phone)的进程中。 Phone进程启动的过程中,会初始化非常多的分支功能,SIM卡流程初始化就是其中之一,所以我觉得有必要写一下Phone进程的框架

weixin_44513784的博客 1981

Reinforcement Learning_By David Silver笔记一: Introduction

Introduction Agent and Environment,History and state, Agent state, Environment state, Information stat, Fully observable enviroments, Partially observable enviroments 环境完全可观测 环境部分可观测 Policy:

wang2008start的专栏 350

景区导览系统|景区展馆智能导览|小程序导览|电子导览手绘地图制作

AI 数字导游就像一位随时陪伴在游客身边的专属导游,能够根据游客的提问,迅速、准确地提供详细的景点介绍、历史文化知识讲解,甚至能根据游客的兴趣爱好和实时位置,为其智能规划个性化的游览路线。在手绘地图中可以显示景区中的景点信息、景点和景点之间的路径,也可以显示景区的关键地点信息:景区全景、植物景观、河流、道路、地形面貌、卫生间等公共设施~无论是景区还是展馆,道可云AI智能导览系统都能通过丰富的功能、先进的技术,为游客打造便捷、智能、个性化的游览体验,成为文旅行业数字化转型的得力助手。

道可云 1148

告别色差!用Python+TCS34725颜色传感器实现精准色彩还原(附完整校准代码)

本文详细介绍了如何利用Python和TCS34725颜色传感器实现专业级色彩还原方案。通过双阶校准法(白光校准和黑电平校准)和进阶的光照自适应技术,解决传感器原始数据不准的问题,并提供完整的校准代码和实战案例,帮助开发者实现ΔE<3的高精度色彩识别。

weixin_30836759的博客 211

Lecture 1:强化学习简介

强化学习是一门决策学科,理解最佳的方式来制定决策。在工程控制当中有一门学习叫最优控制,与强化学习使用的方法有很大的类似之处,这种基于强化学习的方法不需要建模,也不需要设计控制器,只需要构建一个强化学习算法。在神经科学,或者认知神经科学领域,强化学习主要是在模仿人类大脑的工作原理,人类大脑的控制在很大程度上取决于多巴胺的分泌。在心理学领域,我们理解的是认为如何对外部环境变化做出反应,为什么会做出这种...

小小何先生的学习之旅 812

基于Simulink进行步进电机的重复控制仿真建模

重复控制概述目的:通过引入一个周期延迟环节来补偿系统的周期性误差,从而提高系统对周期性参考信号或扰动的跟踪性能。方法内部模型原理:在控制器中嵌入一个与周期性信号相关的模型(例如周期延迟环节),以实现对周期性误差的零稳态误差控制。滤波器设计:为了避免高频噪声放大,通常会在重复控制器中加入低通滤波器。优势对周期性信号具有良好的跟踪性能。不需要精确的数学模型即可实现高性能控制。挑战:需要合理设计重复控制器的参数以避免系统不稳定。

amy_mhd的博客 269

David Silver《Reinforcement Learning》课程解读—— Lecture 2: Markov Decision Process

David Silver《Reinforcement Learning》课程解读 Section 2Lecture 2: Markov Decision ProcessMDPs正式描述了强化学习的环境,几乎所有的强化学习问题都可以描述为MDPs。1. Markov Process 用于描述RL的环境,该环境完全可观(如当前状态完整描述了整个过程)。 特性无后效/ 记忆性 状态转移矩阵Pss′P_{s

科大一小僧 2916

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

深度 | David Silver全面解读深度强化学习:从基础概念到AlphaGo

深度 | David Silver全面解读深度强化学习:从基础概念到AlphaGo 原创 2017-03-25 Duke Lee 机器之心 机器之心原创 作者:Duke Lee 参与:马亚雄、吴攀、吴沁桐、Arac Wu 强化学习在与之相关的研究者中变得越来越流行,尤其是在 DeepMind 被 Google 收购以及 DeepMind 团

ynsshzwxhzyx的博客 740

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

David Silver《Reinforcement Learning》课程解读—— Lecture 3: Planning by Dynamic Programming

David Silver《Reinforcement Learning》课程解读—— Lecture 3: Planning by Dynamic ProgrammingDP用来解决MDPs的planning问题,主要解决途径有policy iteration和value iteration。目录: Introduction Policy Evaluation Policy Iteration Va

科大一小僧 2139

(David Silver深度强化学习) - Lecture2 - Markov Decision Processes

David Silver deep reinforcement learning course in 2019. For document and discussion. Lecture2: Markov Decision Processes Ⅰ Markov Processes (Markov Chain) 1.Introduction to MDPs MDP描述的是RL中的环境(environment),且该环境是fully observable MDP中的state完全描述了这个过程 几乎所有的.

Tzero's blog 597

强化学习导论

Reinforcement Learning (RL) is a increasing subset of Machine Learning and one of the most important frontiers of Artificial Intelligence, since it has gained great popularity in the last years with a...

weixin_26756255的博客 1698

【干货】强化学习介绍

作者 | Thomas Simonini编译 | 专知整理 | Yongxi摘要:由于Alpha Go的成功,强化学习始终是人们谈论的焦点。现在Thomas Simoni...

人工智能学家 1609
上一篇: (Python Primary) - 廖雪峰Python3 - 4.函数
下一篇: (David Silver深度强化学习) - Lecture2 - Markov Decision Processes
ttangzr
博客等级 码龄9年 8粉丝 26原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值