强化学习David Silver课程Lecture2 笔记

马尔可夫决策过程和贝尔曼方程 阅读详情

Lecture Two--Markov Decision Process

这一节我们学习了马尔科夫决策过程,这个在强化学习中也是很重要的一个概念。

首先简略介绍一下MDP(Markov Decision Process),他一般描述的是强化学习中的环境,该环境是可完全观测的,现在所处的状态完全描述了该过程,即只关心现在,过去信息没有任何影响。几乎所有的强化学习问题都可以变为MDP,这里可能会有疑问,比如局部观测的强化学习问题可以转变吗?但是这句话中的MDP不仅仅限于一般的MDP,后面有提到关于MDP的扩展。

我们开始之前看看马尔科夫特性是什么。

”The future is independent of the past given the present"

更好的数学定义如下所示

由此可以看出MDP确实是只管现在,不顾过去。

说完这个,我们再介绍一个概念:状态转移矩阵 State Transition Matrix

对于现在状态s和接下来状态s‘来说,这个状态转移概率可以被定义为:

\rho _{ss'}=\mathbb{P}[S_{t+1}=s'|S_{t}=s]

所以状态转移矩阵就是描述了从状态s到所有可能状态s'的概率的矩阵:

然后我们正式开始介绍MDP,由浅及深,我们先介绍Markov Process 然后 Markov Reward Process(添加奖励R和价值value)再到 Markov Decision Process(添加动作A和策略\pi)。

Markov Process

Markov过程只由状态集S和状态转移矩阵\rho两部分构成,在这个定义中一个Markov链就是S_{1},S_{2},S_{i},...状态之间的变化,具体定义如下:

Markov Reward Process

马尔科夫奖励过程就是在上面的基础上加了奖励这个概念,也更跟我们生活实际切合,强化学习的目的可以说就是找到是奖励最大的一种状态变化。

Markov Reward Process的具体定于如下:

可以看出上面概念其实引进了两个新的值,Rs其实就是在状态s下一步能获得的奖励的期望,而\gamma是一个折扣值,由于我们不能只看下一步状态好不好,比如下棋其实我们是要看得更远一点的,但是后面的信息可能没有下一步的那么有效,所以我们引出了一个折扣值,使最近的状态最有影响力,之后的要打上折扣。

既然现在引入了奖励R,联系强化学习想解决的问题,我们很自然地推出一个概念:Return,以反映我们想要得到的累计奖励。

在这个定义中,我们就用到了折扣,0<=\gamma<=1,当\gamma为0时,我们只关注后面一步,相当于近视眼,我们看不到后面的了,极其贪心,而当\gamma=1时,后面每一步我们都关注,而且都是同等的优先级,这样可能会计算更复杂。

很自然地,现在对于每个状态,在不同地马尔科夫链中,我们都会有Return值(看得更远),使问题更好求解,我们对于每个状态定义一个价值Value,表示该状态的好坏

引入另外一个概念,针对MRP的贝尔曼方程,贝尔曼方程(Bellman Equation)也被称作动态规划方程(Dynamic Programming Equation),由理查·贝尔曼(Richard Bellman)发现,贝尔曼方程通常指离散时间(discrete-time)最佳化问题的动态规划方程,下面的贝尔曼方程表示了当前状态值函数与下一个状态值函数的关系:

由此我们可以看出价值函数可以分为两部分,一个是及时Reward R_{t+1},另外一部分为之后状态的折扣价值\gamma v(St+1),为了方便计算我们也可以得到针对MRP的贝尔曼方程的矩阵形式:

\large v=R+\gamma \rho v

此时的v为一个元素代表一个状态的价值的列向量。

解决这个贝尔曼方程:

直接变成 \large v=(1-\gamma \rho)^{-1}R,但是可以发现这样的计算复杂度为O(\large n^{3}),只能针对小型的MRP问题,针对大型的MRP问题,我们可以采用的方法如下,暂时先了解名词:

  • 动态规划(DP)
  • 蒙特卡洛评估(Monte-Carlo Evaluation)
  • 时间差分学习(TD learning)

Markov Decision Process

A Markov decision process (MDP) is a Markov reward process with decisions. It is an environment in which all states are Markov.

MDP是带有决策的MRP过程,其实就是在MRP的基础上再加上了Action-动作

引进了动作,此时相当于下棋我们现在不仅仅有棋面作为状态了,而且还有在某个状态上,我们该将棋子放到哪个位置作为动作了,而关于在某一状态上该选什么动作,我们引入一个概念--策略Policy.

策略是与时间无关的,有确定策略和随机策略,前者是指在某一个状态上agent采取什么动作是肯定的,\large \pi (s)=a

而随机策略是指的定义中的式子,表明处于状态s时,采取每个动作的概率。

到此,我们可以理解成,一个agent处于一种环境中,可以按很多轨迹进行移动,每一个轨迹就是马尔科夫链,由于策略是指在某一状态下采取哪一种动作的决策,所以我们依照不同的策略会有不同的轨迹,从状态1到状态2,从状态1到状态i都有可能,在没有引进策略的时候,我们的概率转移\large \rho以及奖励R都是考虑全部的,即在每个状态上采取任何动作都是同等权重的,没有偏爱的动作,但引进策略这个概念之后,我们就要考虑在这个策略下我们会移动的轨迹了。同样,由Markov Process到Markov Reward Process,我们引入了奖励,于是原来的轨迹中每一个状态可以衡量自己的价值,即该状态得到的累积奖励的期望。再回到MDP,由于此时机油状态又有动作,所以我们衡量价值的时候也有两种选择,一是只根据状态衡量v,而是结合状态和动作衡量q。

然后针对这个\large v_{\pi }(s) and q_{\pi }(s,a),我们也可以得出他们的bellman方程:

\large v_{\pi }(s)=E_{\pi }[R_{t+1}+\gamma v_{\pi }(S_{t+1})|S_{t}=s]

\large q_{\pi }(s,a)=E_{\pi }[R_{t+1}+\gamma q_{\pi }(S_{t+1},A_{t+1})|S_{t}=s,A_{t}=a]

将两者联系起来我们可以得到以下形式:

 

 

 

 

 

然后推导得到q值与q值的关系,v值和v值的关系:

 

 

 

 

 

 

 

贝尔曼方程的矩阵形式也变为

\large V_{\pi }=R^{\pi }+\gamma \rho ^{\pi }V_{\pi }

Optimal Value Function

由于现实问题中我们用强化学习最后要得到的是一个策略,所以我们先引入最优价值函数的定义,这个函数定义了MDP的有可能的最好表现。如果我们得到了最优价值,我们也可以说这个MDP问题被解决了。

然后我们引入最优策略这个概念

\large \pi ^{*} is \pi >=\pi ^{'}ifv_{\pi }(s)>v_{\pi ^{'}}(s),\forall (s)  对于最优策略和最优价值函数,这里也有一些理论成立

即对于任何MDP,都存在最优策略,以及在最优策略中,价值函数也是最优价值函数。

所以最终问题来了,我们怎么得到这个最优策略呢?很自然的想法是我们可以通过最大化\large q_{*}(s,a)得到,在每个状态,选择最大的q值所对应的动作,所以如果我们知道\large q_{*}(s,a),我们可以立马得到最优策略,但往往我们是不能在问题开始就知道\large q_{*}(s,a)的,联系之前的贝尔曼方程,我们可以迭代地求出\large q_{*}(s,a)

然后进一步推导得到

此时可以发现这个贝尔曼最优方程是非线性的,我们可以采取一些迭代的方式求取,比如(之后会具体说明)

  • Value Iteration 基于价值的迭代
  • Policy Iteration 基于策略的迭代
  • Q-learning
  • Sarsa

MDP的扩展

无限的连续的MDP(像之前Roadef就觉得问题是状态空间连续,但是在理论方面貌似早就解决了,只是简略提到,具体之后再完善)

部分观测的MDP---隐马尔科夫(统计学习方法上面有提到,但自己还没有看到那里)

另外一种是 无折扣的平均奖励的MDP 这些都没有涉及过,课程中也有提到一个遍历的马尔科夫过程,但没看太懂,如果之后遇到再详细写吧。

记录一下暂时觉得自己掌握的点:

1.这些奖励R以及这些由动作转移到每个状态的概率都是自己定义的嘛?

对,我们最后的目的就是求出最优价值函数以及最优策略,其余的都是提前定义以及无模型时我们从采样中得到的。即算法最后只是确定在那个状态选择动作的概率大小,其余的都是已知。

2.Bandit-----mult-armed bandit problem

背景:一个老虎机n个握把,每个握把i由Pi的概率中奖,每次可以选择一个握把进行尝试,成功1,失败0,调整策略找到成功概率最大的arm

我们可以把这个看作只有一个状态的MDP,选择arm就是他的动作,有多少个arm就有多大的动作空间,这个问题可以在现实中有很多应用,比如推荐广告之类的。

记录一下问题:

1.针对MRP的贝尔曼方程的矩阵形式 \large v=(1-\gamma \rho)^{-1}R,可以直接求解,意味着我们在这种情况下v值直接由方程求出来,迭代方式也可以求出来,方程也可以直接求出来,两者有什么证明是可以相等的嘛?针对于大的MRP或者最优解我们只能迭代来完成,但是对于小的,我们可以直接求解或者迭代完成?

2.所以所有问题分为两部分?构建MDP model 解决 MDP model? 不一定是MDP模型?在无模型的时候,我们模型不限定是要为MDP模型?但所有RL问题都可以转变为MDPs?

 

 

 

 

 

 

 

David Silver 强化学习Lecture1:Introduction 1 About Reinforcement Learning &amp;amp;amp;amp;nbsp;&amp;amp;amp;amp;nbsp;&amp;amp;amp;amp;nbsp;&amp;amp;amp;amp;nbsp;强化学习是多学科多领域交叉的一门学问,它属于机器学习三个分支(监督学习、无监督学习、强化学习)中的一个单独的分支。简单来讲,强化学习的本质是解决decision making问题,即学会自动进行决策。具体来说,强化学习是一个Sequenti 阅读详情

相关推荐

David Silver强化学习课程课件

该资源是David Silver的强化学习课程所对应的ppt。 该资源是David Silver的强化学习课程所对应的ppt。 该资源是David Silver的强化学习课程所对应的ppt。

《强化学习导论》经典课程10讲,DeepMind大神David Silver主讲

点击上方,选择星标或置顶,不定期资源大放送!阅读大概需要5分钟Follow小博主,每天更新前沿干货这个经典的10部分课程,由强化学习(RL)的驱David Silver教授,虽然录制于2...

深度学习技术前沿 605

中国科学院大学_强化学习_赵东斌老师_A4纸复习资料

中国科学院大学_强化学习_赵东斌老师_A4纸复习资料,纸质版+PDF打印版

【转载】David Silver公开课8——Integrating Learning and Planning

Integrating Learning and Planning(对Environment建立模型) 本文是David Silver强化学习公开课第八课的总结笔记。这一课主要讲了如何拟合environment模型,通过有监督的方式来更新model,以及如何基于学习的model来找policy/value function,主要谈到了Monte-Carlo Tree Search方法,并且将拟合...

a3335581的博客 345

David Silver强化学习课程学习笔记中文

David Silver的强化学习基本上算是强化学习的入门视频,学习强化学习的人必看。这是David Silver强化学习课程学习笔记,除了视频里的内容,每一章节末尾附加了练习,便于实现和理解算法

David Silver强化学习讲义

David Silver在伦敦大学学院讲授强化学习课程时的slides

经验时代:解读 David Silver 与 Richard S. Sutton 的新作《Welcome to the Era of Experience》

经验时代的四大维度——经验流、丰富交互、环境奖励和非人类推理——为这一愿景提供了具体的实现框架。

阿正的梦工坊 3418

国科大强化学习18-19春季

2016年AlphaGo战胜人类顶级围棋选手,标志人工智能的一个重要里程碑事件,其中强化学习方法做出了重要的贡献。麻省理工、斯坦福、卡内基梅隆等著名学府纷纷开设或着重强化学习的课程。 强化学习是人工智能中最活跃的研究领域之一。强化学习不同于监督学习,强化学习根据系统的状态做出动作,由环境给出奖惩信号,通过学习获得使累计奖惩最高的动作策略。也就是一种基于数据通过自学习方式获得最优决策和控制的方法。在棋类博弈、智能驾驶、机器人控制等领域都有广泛成功的应用。

简述马尔可夫链【通俗易懂】

马尔可夫链 前言 马尔可夫链(Markov Chain)可以说是机器学习和人工智能的基石,在强化学习、自然语言处理、金融领域、天气预测、语音识别方面都有着极其广泛的应用 The future is independent of the past given the present 未来独立于过去,只基于当下。 这句人生哲理的话也代表了马尔科夫链的思想:过去所有的信息都已经被保存到了现在的状态,基于现在就可以预测未来。 虽然这么说可能有些极端,但是却可以大大简化模型的复杂度,因此马尔可夫链在很多时间序列模

Suprit's blog 2万+

MQTT阿里云OTA 调试记录

2.验证,这个验证是什么意思呢,就是阿里云会把你包的信息,比如包大小,streamid(相当于包的识别码),版本号发送给你的设备,然后如果你没发送升级成功的包给阿里云,这里会是一直验证中的状态,那你的设备每次重新连接阿里云,发送connect包给阿里云的时候,阿里云就会发送一次这个验证(upgrade)包。提取到了之后就可以发送请求包了,这个请求包比较坑,也可能是我没付费,他的包一次最多只有1024个字节的数据。之前说了,验证状态下,设备发送connect包给阿里云,阿里云就会发一个upgrade包给你。

qq_42585211的博客 1231

SAP MTO实战:从销售订单到生产订单的精准触发与配置详解

本文深入解析SAP系统中按订单生产(MTO)模式的核心流程与配置。详细阐述了如何通过精准配置物料主数据策略组、需求类型及计划策略(如策略50),实现从销售订单自动触发生产订单的完整链路。文章结合实战案例,指导用户打通销售与生产环节,并提供了关键事务代码与常见问题排查指南,助力企业实现以销定产,优化库存与成本控制。

weixin_29300931的博客 217

David Silver 强化学习Lecture2:MDP

&amp;amp;amp;amp;amp;nbsp;&amp;amp;amp;amp;amp;nbsp;&amp;amp;amp;amp;amp;nbsp;&amp;amp;amp;amp;amp;nbsp;David Silver 强化学习系列博客的内容整理自David Silver 强化学习的PPT和知乎叶强强化学习专栏。 1 Markov Processes 1.1 Introduction to MDPs &amp;amp;amp;amp;amp;n

Jayxbx的博客 913

避坑实录:用certificate-manager重置vCenter 6.7证书时遇到的三个致命陷阱

本文详细解析了使用certificate-manager重置vCenter 6.7证书时可能遇到的三大致命陷阱,包括进度卡在85%的服务启动僵局、脚本突然退出的静默杀手以及密码错误锁死的隐藏机制。通过实战验证的解决方案和高级恢复技巧,帮助系统管理员有效避免vCenter环境瘫痪,确保证书更新过程顺利进行。

g5h6i7j的博客 919

(David Silver深度强化学习) - Lecture1: Introduction to RL

David Silver deep reinforcement learning course in 2019. For document and discussion. Lecture1:Introduction Outline Ⅰ The RL Problem 1.Reward reward RtR_tRt​ 是一个标量的反馈信号 表明agent的每一步的执行效果 agent目标:将累积奖励最大化 课程提出的奖励的假说: All goals can be described by.

Tzero's blog 664

优惠券管理

(请设计一个优惠券兑换码生成方案,可以支持20亿以上的唯一兑换码,兑换码长度不超过10,只能包含字母数字,并且要保证生成和校验算法的高效)最后把签名值的后14位、新鲜值(4位)、自增序列(32位)拼接,得到一个50位二进制数,然后与一个较大的质数做异或运算加以混淆,再基于Base32或Base64转码,即可的对兑换码。现在,就剩下防止爆刷了。自增id从1增加到Integer的最大值,可以达到40亿以上个数字,而占用的字节仅仅4个字节,也就是32个bit位,距离50个bit位的限制还有很大的剩余,符合要求!

qq_36312661的博客 2206

固态变压器SST 1.1 课程整体框架与学习路径

本课程围绕固态变压器(SST)全生命周期工程化流程设计,构建"规范要求-理论基础-设计方法-仿真验证-工程落地"的闭环学习体系,完整覆盖GB/T 40429-2021标准要求。课程分为基础认知、核心设计、合规验证、工程落地和前沿拓展五大模块,采用理论讲解与工程实践深度融合的教学路径,通过规范条款拆解、仿真预验证、硬件实现、试验检测等环节,培养学员从设计到落地的完整能力。课程强调标准合规性,每个设计环节均有明确规范约束,并提供标准化工程模板,确保学习成果可直接应用于实际项目开发。

技术工作者 1000

David Silver强化学习课程 Lecture 2: Markov Decision Processes

文章目录AbstractMarkov PropertyMarkov ChainExample:Student Markov ChainMarkov Reward ProcessExample: Student Markov Reward ProcessReturn(回报)Value functionExample: Student MRP ReturnsBellman EquationExampl...

KunBB的博客 913

鼎捷T100—二次开发:客制化联络对象维护作业 aooi350

鼎捷T100二次开发,客制化

weixin_52342654的博客 1133

David Silver《Reinforcement Learning》课程解读—— Lecture 1: Introduction to Reinforcement Learning

David Silver《Reinforcement Learning》课程解读前段时间学习了UCL讲师、AlphaGo项目的主程序员David Silver的课程Reinforcement Learning,手写了30多页学习笔记,可以说学得很浅,整个知识网络掌握得不够有连贯性,为了将整个课程的体系做一个梳理,写下此篇博文。课程ppt和视频资料在网上很容易搜索,此处不再提供。课程目录: Lectu

科大一小僧 5179

【GPFS专题4】---IBM Spectrum Scale (GPFS) 原理详解

IBM Spectrum Scale(原名为 GPFS,General Parallel File System)是一种高性能、分布式的集群文件系统,专为大规模数据共享和并行访问设计。它允许多个客户端同时访问共享文件,提供高可用性、容错性和扩展性,广泛应用于高性能计算(HPC)、大数据分析、AI 训练和企业级存储场景。IBM Spectrum Scale 通过分布式架构、并行访问和智能数据管理,为企业提供了高性能、高可用、可扩展的存储解决方案。

jundao1997的专栏 782

基于 STM32 的智能水表流量计设计与实现 —— 数据采集与远程传输

本文设计的基于 STM32 的智能水表流量计通过霍尔传感器实现流量采集,结合 STM32 的处理能力完成数据计算、存储与远程传输,具备计量精准、功耗低、可远程监控等特点。未来可优化方向:引入低功耗模式延长电池寿命,增加水质检测模块实现多参数监测,提升水务管理智能化水平。

weixin_42300449的博客 1031

David Silver强化学习课程 Lecture 1: Introduction to Reinforcement Learning

.

KunBB的博客 1035

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

决策过程并举例_David Silver 增强学习——Lecture 2 马尔可夫决策过程(一)

其他lecture【1】搬砖的旺财:David Silver 增强学习——笔记合集(持续更新)目录**David Silver 增强学习——Lecture 2 马尔可夫决策过程(一)**1. 前言----1.1 数学规范----1.2 马尔可夫性----1.3 状态转移矩阵----1.4 片段(episode)----1.5 马尔可夫过程(Markov Process,MP)----1.6 马尔可...

weixin_39594296的博客 539

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

David Silver 强化学习Lecture4:Model-Free Prediction

&amp;amp;amp;amp;amp;amp;amp;amp;amp;nbsp;&amp;amp;amp;amp;amp;amp;amp;amp;amp;nbsp;&amp;amp;amp;amp;amp;amp;amp;amp;amp;nbsp;&amp;amp;amp;amp;amp;amp;amp;amp;amp;nbsp;David Silver强化学习系列博客的内容整理自David Silver 强化学习的PPT和知乎叶强强化学习专栏。 1 Introduct

Jayxbx的博客 1099

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

David Silver UCL强化学习课程学习笔记七之Policy Gradient Methods 策略梯度

Lecture 7: Policy Gradient Methods https://www.davidsilver.uk/wp-content/uploads/2020/03/pg.pdf Introduction Policy-Based RL的优点:更好的收敛性;在高维或连续动作空间中有效;可以学习随机策略 缺点:通常会收敛到局部最优,而不是全局最优;评估一项政策通常效率低下且差异很大 目标函数 一般而言,只要出现随机的策略的时候,一般都会比确定性策略效果要好。针对我们的目标函数,我们有如下几

dzcera的博客 975

David Silver Lecture 1 | 强化学习简介

David Silver Course 1 | 深度强化算法学习 +项目讲解0. 强化学习特点1.1 Reward1.2 Sequential Decision Making1.3 History & State1.4 Fully / Partial Observable Environments2.0 Major Components of an RL agent2.1 Policy2.2 Value Function (给定一个Policy之下评估一个状态)2.3 ModelMaze Examp

weixin_44495738的博客 473
上一篇: 强化学习David Silver课程Lecture1 笔记
下一篇: 关于python中时间格式的疑惑
donglcode
博客等级 码龄10年 26粉丝 10原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值