datawhale深度强化学习笔记02

最新推荐文章于 2025-05-29 13:13:18 发布
最新推荐文章于 2025-05-29 13:13:18 发布
阅读量72 收藏
点赞数
文章标签： 笔记 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lihaochuan1/article/details/134482434
版权
本文讨论了模型预测与免模型控制在马尔可夫决策过程中的应用，比较了蒙特卡洛方法（FVMC和EVMC）、时序差分估计（TD）、Q-learning与Sarsa算法的区别，强调了步数对学习速度的影响以及探索与利用的平衡策略。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  • task 02
    • 有模型与免模型的区别是p(s'|s,a)是否是已知的
    • 预测的目标是获得状态转移函数，控制的目标是获得最优策略函数
    • 蒙特卡洛方法的局限性：只适用于有终止状态的马尔可夫决策过程
      • 首次访问蒙特卡洛（FVMC）与每次访问蒙特卡洛（EVMC）的区别
        • 个人认为，FVMC是在整个决策树从头到尾下来的一根决策路径，而EVMC是会考虑到每个分叉的所有情况。FVMC具有无偏性和收敛快的特点，而EVMC则更加精确。
    • 时序差分估计（TD）
      • 可适用于无终止状态的马尔可夫决策过程
      • 可以在线学习，走一步就可以更新
      • 步数可以是n步，这样做就可以控制学习的速度，步数越小，学习的速度就越快，反之则越慢。也叫TD(\lambda)算法
    • 免模型控制
      • Q-learning算法
        • 通过获得Q（动作价值函数）表格，来获得最优的V（状态价值函数）
        • 采用的算法是\epsilon-greedy算法来均衡探索和利用的动作。
      • Sarsa算法
        • Sarsa算法与Q-learning算法的区别就是更新公式中使用直接的下一状态的动作价值函数Q(s_{t+1},a_{t+1})而不是下一个状态的最大Q值。
      • 记录于2023/11/18
lihaochuan1
关注
Datawhale 强化学习笔记(一）概述
RessCris的博客
01-17 964
多智能体从数据中学习（从演示中学）：利用数据来辅助学习模仿学习： 模仿学习是指在奖励函数难以明确定义或者策略本身就很难学出来的情况下，我们可以通过模仿人类的行为来学习到一个较好的策略逆强化学习：从人类数据中学习奖励函数；通过观察人类的行为来学习到一个奖励函数，然后通过强化学习来学习一个策略。由于需要专家数据，逆强化学习会受到噪声的影响，因此如何从噪声数据中学习到一个较好的奖励函数也是一个难题。
Datawhale 强化学习笔记(二）马尔可夫过程，DQN 算法
RessCris的博客
01-17 1362
其次，每次迭代的样本都是从环境中实时交互得到的，这样的样本是有关联的，而梯度下降法是基于一个假设的，即训练集中的样本是独立同分布的。在 DQN 算法中，大臣是不管好的还是坏的情报都会汇报给皇帝的，而在 Double DQN 算法中大臣会根据自己的判断将自己认为最优的情报汇报给皇帝，即先在策略网络中找出最大 Q 值对应的动作。目标网络和当前网络结构都是相同的，都用于近似 Q 值，在实践中每隔若干步才把每步更新的当前网络参数复制给目标网络，这样做的好处是保证训练的稳定，避免 Q 值的估计发散。
datawhale深度强化学习笔记01
lihaochuan1的博客
11-13 58
datawhale学习笔记（持续更新）
Datawhale深度强化学习task1学习笔记
googteo的博客
11-15 105
一次次的决策来实现目标，这个目标通常是以最大化累积的奖励来呈现的，这个过程就是过程，而强化学习就是解决序列决策问题的有效方法之一。分类：基于价值的和基于策略梯度的算法探索策略（ exploration strategy ）:常用的方法有ϵ−greedy和置信上界（ upper confidence bound，UCB ）等等。
DataWhale 深度强化学习课程（二 MDP过程）
weixin_43448905的博客
11-13 143
多次采样（一种方法MC Monte Carlo采样）后得到的回报的均值为价值，即回报的期望，消除回报的不确定性，即每个episode得到回报不一致。之后后继的状态的每一步都按照最优的策略去做，最后的结果就是最优的。在强化学习中，智能体与环境就是这样进行交互的，这个交互过程可以通过马尔可夫决策过程来表示，马尔可夫决策过程是强化学习的基本框架。假设概率函数是平稳的（stationary）（策略概率不会随时间变化），不同时间点，我们采取的动作其实都是在对策略函数进行采样。，在优化过程中得到一个最新的策略。
Datawhale - JoyRL学习笔记 03 深度强化学习基础
byzhou14的博客
11-21 91
深度强化学习是一种将强化学习的决策能力与深度学习的特征提取能力结合的先进技术，为解决复杂问题提供了新途径。这篇博客旨在深入探讨深度强化学习的核心要素，并提供更丰富的细节。
深度强化学习笔记02-马尔可夫链
sliceoflife的博客
10-21 1007
深度强化学习笔记02-马尔可夫链 这几天杂事比较多，看了一些相关内容，但是没有时间形成笔记，此笔记复制与datawhale的MDP一节，后期自己学习填补。 MDP [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZqnWSNgx-1603286418354)(img/2.1.png)] 这节课我会给大家介绍马尔可夫决策过程。 在介绍马尔可夫决策过程之前，先介绍它的简化版本：马尔可夫链以及马尔可夫奖励过程，通过跟这两种过程的比较，我们可以更生动地理解马尔可夫决策过程。 第二部分
Datawhale李宏毅深度学习笔记Task01
DeSerANT的博客
07-12 215
Datawhale李宏毅深度学习笔记Task01机器学习介绍人工智能、深度学习、机器学习关系机器学习的框架learning map为什么需要机器学习？ 暑假到了，开始深度学习第一天打卡。 机器学习介绍 人工智能、深度学习、机器学习关系 人工智能是我们想要达成的目标，机器学习是达成目标的手段，深度学习是机器学习的一种方法。 让机器有学习的能力—机器学习。 机器学习的框架 根据训练数据，从成千上万的函数集合中寻找一个最好的函数（model），找到这个最好的函数之后需要对测试集进行测试。包括训练和测试两个步骤。
深度强化学习笔记【1-3章】（学习资源来自datawhale开源学习）
weixin_69003288的博客
11-15 74
学习资料来源：https://github.com/datawhalechina/joyrl-book。
【Datawhale组队学习深度强化学习】Task2 免模型
m0_61267964的博客
06-22 790
想象一下，你是一个探险家，你要在一个未知的地形中找到宝藏。你有一张地图，但是地图上没有标记宝藏的位置，你只能通过探索来找到它。
【深度强化学习】4. Policy Gradient
pprp的博客
10-29 563
【Datawhale打卡】十一的时候自己看过一遍，李宏毅老师讲的很好，对数学小白也很友好，但是由于没有做笔记（敲代码），看完以后脑袋里空落落的。趁着这次打卡活动，重新看一遍，果然好多细节需要重头梳理一遍。 文章目录1. 新概念/符号2. 三个组成部分3. Gradient Ascent4. 实现/实做4.1 TIP1 Add a Baseline4.2 TIP2 Assign Suitable Credit5. MC & TD5.1 MC-REINFORCE5.2 TD-Actor Critic6.
DataWhale机器学习——第一章、第二章笔记
m0_55303420的博客
06-19 1029
机器学习正是这样一门学科，它致力于研究如何通过计算的手段，利用经验来玫善系统自身的性能在计算机系统中，"经验"通常以"数据"形式存在，因此?机器学习所研究的主要内容，是关于在计算机上从数据中产生"模型" (model)的算法，即"学习算法"(learning有了学习算法，我们把经验数据提供给它，它就能基于这些数据产生模型;
pikachu靶场通关笔记07 XSS关卡03-存储型XSS
mooyuan的网络安全博客
05-29 409
本系列为通过《pikachu靶场通关笔记》的XSS关卡(共10关）渗透集合，通过对XSS关卡源码的代码审计找到XSS风险的真实原因，讲解XSS的原理并进行渗透实践，本文为XSS关卡03-存储型XSS的渗透部分。
【C语言极简自学笔记】项目开发——扫雷游戏
最新发布
LQYYDSY的博客
05-29 309
本次项目旨在使用 C 语言开发一个控制台版本的扫雷游戏，实现以下基本功能： 初始化游戏棋盘，包括雷区的布置和非雷区域周围雷数的计算。 玩家通过输入坐标来翻开棋盘格子，若翻开雷则游戏失败，若翻开所有非雷格子则游戏胜利。 提供标记雷的功能，方便玩家识别可能有雷的区域。 具备良好的用户交互界面，显示棋盘状态和游戏提示信息。
uni-app学习笔记十四-vue3中emit的使用
shenxiaomo1688的博客
05-25 424
在组件传值中，无论是props还是slot都是单向数据流，父组件向子组件传值，子组件不能直接对父组件传过来的值进行重新赋值。在父组件中，onAdd接收子组件传递过来的随机数并转化为字符串进行截取，得到一个颜色的随机数。通过@add="onAdd"，其中add就是子组件的函数名。在实际开发中，emit通常需要在JS部分进行处理，上面的。子组件设置传递过去的函数名为add，值为一个随机数。下面学习子组件向父组件传值的工具--emit。在子组件emit设置传递的函数名和值。可以实现一样的效果。
​​UniBoard：私有化部署，导航笔记文件一站式管理
srebro.cn | 运维小弟
05-25 676
一款集成了导航管理、云笔记、短链服务、文件存储与分享等实用工具
ADS学习笔记(三) 瞬态仿真
weixin_52342399的博客
05-25 1460
本文分析了BJT电路中交流信号仿真与瞬态仿真放大倍数不一致的问题（3.422 vs 3.1）。主要原因是两种仿真方法的本质差异：交流仿真采用线性化小信号模型，而瞬态仿真使用完整非线性模型，10mV输入信号已使BJT表现出非线性特性，导致增益压缩。通过减小瞬态仿真输入信号幅度（如1mV），可观察到增益逐渐接近交流仿真值，验证非线性效应是差异根源。文中附图展示了仿真电路和结果波形。
黑马程序员C++核心编程笔记--2 引用
2501_90434822的博客
05-28 179
前三节知识点新版课程已有记录， 详见。
论文阅读笔记——Step1X-Edit: A Practical Framework for General Image Editing
Multiple_x的博客
05-27 949
Step1X-Edit: A Practical Framework for General Image Editing 论文阅读笔记
Datawhale推荐系统实战学习笔记与代码解析
学习笔记也会探讨当前一些前沿技术如强化学习在推荐系统中的应用，以及推荐系统可能面临的挑战和趋势。 通过上述内容的学习与实践，学习者不仅能够掌握推荐系统的基本理论知识，而且能够通过实战项目提升自己的技能...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值