强化学习David Silver课程Lecture1 笔记

David Silver 强化学习Lecture1:Introduction 1 About Reinforcement Learning     强化学习是多学科多领域交叉的一门学问,它属于机器学习三个分支(监督学习、无监督学习、强化学习)中的一个单独的分支。简单来讲,强化学习的本质是解决decision making问题,即学会自动进行决策。具体来说,强化学习是一个Sequenti 阅读详情

Lecture One--RL introduction

强化学习在序列决定问题中是很适用的,第一章就简单介绍了强化学习的整体思想以及其中一些名词。

PPT链接:http://www0.cs.ucl.ac.uk/staff/d.silver/web/Teaching_files/intro_RL.pdf

视频链接:https://www.youtube.com/watch?v=2pWv7GOvuf0&index=1&list=PL5X3mDkKaJrL42i_jhE4N-p6E2Ol62Ofa

之前也有看过一部分强化学习的资料,不过整个的知识架构感觉就很松散,不是很完善,而且有些地方概念不清晰,于是开始写博客,想通过分享的形式把东西弄明白,没有弄明白的也会在博客中提出自己的疑问和想法,个人的知识水平有限,可能有些地方理解仍然不够,大家发现有错的地方可以直接提出来。

首先,在我思维体系中,机器学习包括监督学习,非监督学习,半监督学习和强化学习。

机器学习是什么呢,机器学习其实就是让机器实现类似于人类思考的过程。人类是怎样思考的呢?举一个很简单的例子,你需要约了你的朋友一起去吃饭,但你的朋友是那种经常迟到的人,你为了让自己的等待时间但又不让你的朋友等你的情况出现,一个很自然的我们处理办法的方式就是我们基于朋友之前迟到的情况做一个大致的统计,然后得到他大概会迟到多久,然后下次约会的时候直接晚那么长的时间过去。这就是很明显的一个基于过去统计的思想来预测下次约会迟到时间,下次迟到时间可能会受到交通、天气、是否周末这些因素的影响,这些就是机器学习里面数据的特征了,我们根据历史数据(包括当天状况和迟到时间)预测下一次迟到时长,这就是一个监督学习中的回归问题了。然后非监督学习针对的是发现事情之间的联系,比如我们有一堆数据,其实很多是属于同一类别的,但是我们无法直接分辨出来,这时候非监督的一系列算法就可以帮我们区分出来了,他与监督学习最大的区别是他没有标签可以学习。比如在刚刚的例子里面,非监督里面的数据就是没有迟到时长的一堆数据,当然最后我们也不是需要预测迟到时长,而是将这些数据进行聚类,发现哪些是相似情况。然后虽然强化学习也是在机器学习内,但其思想与其他几种学习很不一样,他是一种试错思想,里面有个很重要的词,奖励!还是上面那个例子,强化学习的做法是尝试很多次模拟约会,如果自己迟到了,会得到一个很大的惩罚,如果自己等待了很久也会得到一个惩罚,如果自己刚刚好,没有等待也没有让别人等,就会得到奖励,这样学习得到在怎样一个状态下,自己该采取什么行动来使自己得到的奖励最大。

这是我对机器学习的大致一个了解,下面正式来讲David Silver在第一章中讲了什么内容。

强化学习的大致流程:其中有几个重要组成部分 环境 agent 奖励 动作 状态 操作如下图所示

图中大脑就是就是agent,在时刻t agent采取一个动作action At,然后周围的环境(图中的地球接收到此动作At),反馈一个奖励Rt和更新状态St,也可以说这个状态St即是大脑所观测到的Ot,大脑根据所得到的St和Ot再采取下一步的动作At+1,循环下去。

强化学习中的最终目标就是使终结的时候,累积的奖励最大。

Difference

了解强化学习大概的思想之后,其实会发现他和监督学习之间的不一样,在第一章中间也有涉及到这个,他和监督学习的不同主要在下面几个方面:

  1. 中间有奖励,而且这可能是个会延迟的反馈,比如下棋,我到最后一步赢了才会得到奖励,中间过程是没有奖励的。
  2. 在强化学习中,时间真的很重要,因为这个是个序列决策问题。
  3. 动作会影响下一步所得到的子数据,即采取不同的动作可能反馈不一样,状态不一样。

Reward

什么是奖励呢,奖励Rt就是在时间t的反馈信号,我们的Objective就是使得累积的奖励最大

History&State

历史Ht=O1,R1,A1,...At-1,Ot,Rt即之前所有的历史纪录

状态St = f(Ht) 即我们每一步所说的状态是与前面的状态动作所造成的,比如下棋,我们在过程中每一个棋面都是与之前我们所下的动作相关的。

Fully Observable Environment & Partially Observable Environment

环境又分为全面观测环境和局部观测环境,全面观测环境即我们是上帝视角,可以看到整个环境的变化,比如下围棋,环境是整个棋面,我们可以完全观测到,而像机器人移动,我们所观测到的其实只是一个小小的局部。(局部观测环境问题就肯定不能用马尔可夫来解决?)

RL agent的组成:Policy Value Model

好像在之前的书上看的时候并不是这样的,是跟agent区分开来讲的,不过认为这是agent的组成也是有道理的,其实这些是确定我们的动作的一些方式,也就是agent的内部决策。

Policy:将状态和动作匹配起来的,有两种形式,一种是确定性的:a=\pi (s),另外一种是个概率模型:\pi (a|s)=P[A_{t}=a|S_{t}=s]

Value: 是评估某一状态好还是不好的       V_{\pi }(s)=E_{\pi }[R_{t+1}+\gamma R_{t+2}+\gamma ^{2}R_{t+3}+...|S_{t}=s]

Model: 预测下一步环境将会怎么变化 分为两种预测类型

\rho_{ss'}^{a}=P[S_{t+1}=s'|S_{t}=s,A_{t}=a] 预测下个状态,即转移概率?

R_{s}^{a}=E[R_{t+1}|S_{t}=s,A_{t}=a]   预测下个奖励

RL agent的分类(具体的以后再阐述吧):

两种分类方式:第一种方式 分为 Value Based   Policy Based 以及Actor Critic(兼有Policy和Value Function)

第二种分类方式分为 Model Free 和 Model Based

关于序列决策问题的两种重要方式:RL & Planning(这个不太确定)

RL其实就是一个试错过程,trial_and_error learning

而planning是直接精确的查找最优解,比如说树搜索的方式?

然后在强化学习中间还有一个很重要的问题,就是Exploration&Exploitation的平衡问题,Exploration就是探索,偏向于随机,即发现环境的更多信息,比如下棋里面随机动一个子。而Exploitation就是利用,尽可能利用已知信息来最大化累积奖励,即按学到的最优解走,这两个不能只顾某一方,需要平衡才是算法的最佳形式。在别的问题中也有这个,比如在一个优化问题中,我们需要兼顾多样性和集中性。

 

请叫我鱼拆,2024扫地机器人的第一次拆机 从背面可以看出,这个机器人是两轮差速模型,两个驱动轮,一个万向轮,驱动轮位于机器人中心位置,这样原地旋转的圆心就是机器人的中心。可以看到设备已经连接,但是没有办法进shell,厂家应该有做了安全保护之类的,有知道从这个口可以登录系统办法的小伙伴可以后台留言。但这台机器人一直报警说,机器人轮子离地,小鱼 估计是防跌落模块有问题,误触发了,所以打算先拆机看看。接着小鱼试了下,机器可以开机,然后给他重新配置wifi,连上 米家。Allwinner,全志的片子,不知道哪个型号的,看产品id,应该支持adb。 阅读详情

相关推荐

“Agent Harness”和“Harness Engineering”

摘要:2026年AI工程化领域,"Agent Harness"(AI代理运行控制系统)与"Harness Engineering"(马具工程方法论)常被混淆。前者是管理AI代理非推理事务的技术实体(工具调用、记忆管理、安全约束等7层架构),后者是设计优化该系统的工程学科。研究表明,优化的Harness设计可使同一模型性能提升10倍。两者关系如同"马具"与"制具工艺":Harness Engineering指导Agent Harn

几十年资深高级架构师,技术专家的技术笔记。专注C、Java、Python、微服务、云原生、AI工程化及高并发系统分布式架构实战,分享源码剖析、性能调优与架构治理经验。 858

增强学习(一) ----- 基本概念

机器学习算法大致可以分为三种: 1. 监督学习(如回归,分类) 2.非监督学习(如聚类,降维) 3. 增强学习 什么是增强学习呢? 增强学习(reinforcementlearning, RL)又叫做强化学习,是近年来机器学习和智能控制领域的主要方法之一。 定义:Reinforcement learning is learning what to do --...

weixin_30878361的博客 910

MOS管开关设计知识-(五种MOS管开关电路图方式)

在使用MOS管设计开关电源或者马达驱动电路的时候,大部分人都会考虑MOS的导通电阻,最大电压等,最大电流等,也有很多人仅仅考虑这些因素。这样的电路也许是可以工作的,但并不是优秀的,作为正式的产品设计也是不允许的。 下面是我对MOSFET及MOSFET驱动电路基础的一点总结,其中参考了一些资料,非全部原创。包括MOS管的介绍,特性,驱动以及应用电路。 1、MOS管种类和结构 MOSFET管是FET的...

树卡花 7万+

(David Silver深度强化学习) - Lecture1: Introduction to RL

David Silver deep reinforcement learning course in 2019. For document and discussion. Lecture1:Introduction Outline Ⅰ The RL Problem 1.Reward reward RtR_tRt​ 是一个标量的反馈信号 表明agent的每一步的执行效果 agent目标:将累积奖励最大化 课程提出的奖励的假说: All goals can be described by.

Tzero's blog 664

2025海外代理IP深度横评:Bright Data、IPFoxy、SmartProxy等六大服务商实战对比

本文深度横评2025年六大海外代理IP服务商(Bright Data、IPFoxy、SmartProxy、IPIPGO、Kookeey及青果网络),基于实战测试数据,从IP池质量、速度稳定性、性价比等维度进行对比。针对跨境电商、数据爬虫、社交媒体管理等不同业务场景,提供精准的选购指南与避坑建议,帮助企业用户根据自身需求选择最合适的代理IP解决方案。

weixin_29196891的博客 436

强化学习 | Multi Agents | Trust Region | HATRPO | HAPPO

ICLR2022多智能体论文,将trust region推广到MA上,保证单调递增。学习博客,共7k字,纯手敲。含大量手写笔记。

111辄的博客 1万+

David Silver 强化学习Lecture2:MDP

    David Silver 强化学习系列博客的内容整理自David Silver 强化学习的PPT和知乎叶强强化学习专栏。 1 Markov Processes 1.1 Introduction to MDPs &n

Jayxbx的博客 913

【WRF-FDDA】观测 Obs nudging 的配置与使用说明(中)

WRF-FDDA

WW、forever的博客 282

David Silver强化学习课程 Lecture 1: Introduction to Reinforcement Learning

.

KunBB的博客 1035

ICM20948 DMP代码详解(54)

ICM20948 DMP代码详解(54)

phmatthaus的专栏 428

详解AUTOSAR:AUTOSAR架构中的配置文件(拓展篇—7)

查看AUTOSAR代码包时会发现一些这样格式的文件:xxx_PBcfg.c、xxx_Lcfg.c和xxx_Cfg.h,本篇博文讲一讲这几个配置文件的作用和特点。

不脱发的程序猿 2148

David Silver《Reinforcement Learning》课程解读—— Lecture 1: Introduction to Reinforcement Learning

David Silver《Reinforcement Learning》课程解读前段时间学习了UCL讲师、AlphaGo项目的主程序员David Silver的课程Reinforcement Learning,手写了30多页学习笔记,可以说学得很浅,整个知识网络掌握得不够有连贯性,为了将整个课程的体系做一个梳理,写下此篇博文。课程ppt和视频资料在网上很容易搜索,此处不再提供。课程目录: Lectu

科大一小僧 5179

orange软件:入门使用

orange做数据分析契机实验手册目录orange软件部分界面展示小试牛刀:数据导入和展示小试牛刀:散点图绘制总结 契机 今天在上大数据时代实验课,作为一名软件工程专业的大三学生,在上这节公选课之前就决定这节课做完这个学期所有的实验报告,可以说“有亿点”不屑;尤其当老师说Python很麻烦的时候,我更是震惊了,因为我接触过这么多编程语言,Python真的很友好了,很傻瓜,但是当老师打开实验手册的时候,我真香了!!!下面先来看看手册的目录: 实验手册目录 为什么会真香呢,因为目录里这些有好多机器学习算法!

weixin_45880844的博客 1万+

David Silver Lecture 1 | 强化学习简介

David Silver Course 1 | 深度强化算法学习 +项目讲解0. 强化学习特点1.1 Reward1.2 Sequential Decision Making1.3 History & State1.4 Fully / Partial Observable Environments2.0 Major Components of an RL agent2.1 Policy2.2 Value Function (给定一个Policy之下评估一个状态)2.3 ModelMaze Examp

weixin_44495738的博客 473

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

David Silver 强化学习Lecture4:Model-Free Prediction

    David Silver强化学习系列博客的内容整理自David Silver 强化学习的PPT和知乎叶强强化学习专栏。 1 Introduct

Jayxbx的博客 1099

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

David Silver强化学习课程 Lecture 2: Markov Decision Processes

文章目录AbstractMarkov PropertyMarkov ChainExample:Student Markov ChainMarkov Reward ProcessExample: Student Markov Reward ProcessReturn(回报)Value functionExample: Student MRP ReturnsBellman EquationExampl...

KunBB的博客 913

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

David Silver UCL强化学习课程学习笔记七之Policy Gradient Methods 策略梯度

Lecture 7: Policy Gradient Methods https://www.davidsilver.uk/wp-content/uploads/2020/03/pg.pdf Introduction Policy-Based RL的优点:更好的收敛性;在高维或连续动作空间中有效;可以学习随机策略 缺点:通常会收敛到局部最优,而不是全局最优;评估一项政策通常效率低下且差异很大 目标函数 一般而言,只要出现随机的策略的时候,一般都会比确定性策略效果要好。针对我们的目标函数,我们有如下几

dzcera的博客 975

决策过程并举例_David Silver 增强学习——Lecture 2 马尔可夫决策过程(一)

其他lecture【1】搬砖的旺财:David Silver 增强学习——笔记合集(持续更新)目录**David Silver 增强学习——Lecture 2 马尔可夫决策过程(一)**1. 前言----1.1 数学规范----1.2 马尔可夫性----1.3 状态转移矩阵----1.4 片段(episode)----1.5 马尔可夫过程(Markov Process,MP)----1.6 马尔可...

weixin_39594296的博客 539

David Silver强化学习Lecture1:强化学习简介

课件:Lecture 1: Introduction to Reinforcement Learning 视频:David Silver深度强化学习第1课 - 简介 (中文字幕) 强化学习的特征 作为机器学习的一个分支,强化学习主要的特征为: 无监督,仅有奖励信号; 反馈有延迟,不是瞬时的; 时间是重要的(由于是时序数据,不是独立同分布的); Agent的动作会影响后续得到的数据; 强化...

weixin_30617695的博客 291

David Silver 强化学习Lecture5:Model-Free Control

    David Silver强化学习系列博客的内容整理自David Silver 强化学习的PPT和知乎叶强强化学习专栏。 1 Introdu

Jayxbx的博客 1231

David Silver强化学习课程 Lecture 7: Policy Gradient(总结版)

1. 基于策略学习的优点: 总是沿着梯度方向在改善策略,具有更好的收敛性; 基于值的方法难以解决行为空间连续的问题,基于策略的方法则很容易; 可以学习到随机策略; 可以解决观测受限的问题; 有时候计算价值函数十分复杂,基于策略则很简单。 基于策略学习的缺点:原始的基于梯度的方法方差较高,效率低下。 2.策略目标函数: 2.1、star value:在能够产生完整Episode...

KunBB的博客 721

David Silver《Reinforcement Learning》课程解读—— Lecture 3: Planning by Dynamic Programming

David Silver《Reinforcement Learning》课程解读—— Lecture 3: Planning by Dynamic ProgrammingDP用来解决MDPs的planning问题,主要解决途径有policy iteration和value iteration。目录: Introduction Policy Evaluation Policy Iteration Va

科大一小僧 2139

David Silver强化学习课程 Lecture 2: Markov Decision Processes(总结版)

马尔可夫性:某一状态信息包含了所有相关的历史,只要当前状态可知,所有的历史信息都不再需要,当前状态就可以决定未来,则认为该状态具有马尔科夫性。 可以用下面的状态转移概率公式来描述马尔科夫性: 马尔科夫过程:又叫马尔科夫链(Markov Chain),它是一个无记忆的随机过程,可以用一个元组<S,P>表示,其中S是有限数量的状态集,P是状态转移概率矩阵。 马尔科夫奖励过程:在马...

KunBB的博客 372

强化学习David Silver课程Lecture2 笔记

Lecture Two--Markov Decision Process 这一节我们学习了马尔科夫决策过程,这个在强化学习中也是很重要的一个概念。 首先简略介绍一下MDP(Markov Decision Process),他一般描述的是强化学习中的环境,该环境是可完全观测的,现在所处的状态完全描述了该过程,即只关心现在,过去信息没有任何影响。几乎所有的强化学习问题都可以变为MDP,这里可能会有...

donglcode的博客 860

David Silver Lecture 8: Integrating Learning and Planning

model主要是指,state transitions和相应的reward。

降低学习速度,提高学习效率的地方 557

David Silver Lecture 10: Classic Games

Minimax搜索是在决策理论和游戏理论中用于决定最优策略的一种方法,特别适用于对抗性的环境(例如,国际象棋或者井字游戏)。基本思想是最大化我们的最小可能回报:最大化在对手做出最佳对我们不利决策的情况下我们可以获得的收益。Minimax搜索的核心是深度优先遍历的方式去查看所有可能的游戏结果,然后从这些结果中回溯,对每个节点做一个决策:如果节点是我们的回合,我们会选择最大的值(因为我们希望最大化我们的收益);

降低学习速度,提高学习效率的地方 1052
下一篇: 强化学习David Silver课程Lecture2 笔记
donglcode
博客等级 码龄10年 26粉丝 10原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值