DRL的个人学习——part_1

最新推荐文章于 2025-12-29 14:36:52 发布
原创 最新推荐文章于 2025-12-29 14:36:52 发布 · 387 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#概率论 #机器学习 #算法

本文介绍了蒙特卡洛近似、概率密度函数、累积分布函数等统计概念，并通过随机抽样的直观例子进行解释。接着探讨了蒙特卡洛方法在估算和定积分中的应用。随后，文章深入到强化学习领域，详细阐述了马尔可夫决策过程，包括智能体、状态、动作、环境、奖励、策略和回报的概念。通过王者荣耀游戏的例子，解释了状态价值函数和动作价值函数如何评估策略，并讨论了价值学习中的TD算法。文章旨在帮助读者理解蒙特卡洛方法与强化学习的基本原理及其在实际问题中的应用。

1.名词解释以及一些简写

蒙特卡洛近似：抽一个或很多个随机样本，用随机样本来近似

PDF： probability density function 概率密度函数，对于连续变量
PMF： probability mass function 概率质量函数，对于离散变量
CDF： cumulative distribution function 累积分布函数
在这里插入图片描述
大写字母，如X，表示随机变量
小写字母，如x，表示对随机变量的 观测值/实际取值

2.直观例子

写这个是为了方便理解与认知，我觉得有个大致的图在脑子里更好

2.1 对随机变量求期望相当于消去那个变量

在这里插入图片描述

2.2 随机抽样

根据某些概率分布来取观测值
在这里插入图片描述

3.蒙特卡洛估计

想法：以随机样本来估算真实值

3.1 直观例子：近似定积分

在这里插入图片描述

最低0.47元/天 解锁文章
深度增强学习（DRL）简单梳理
时光杂货店
08-23 2万+
作者：xg123321123 - 时光杂货店 出处：http://blog.youkuaiyun.com/xg123321123/article/details/77504032 声明：版权所有，转载请联系作者并注明出处 0 主要话题 增强学习面临的问题 马尔科夫过程 形式化描述增强学习 Q-learning 深度增强学习 1 一个简单的增强学习情景以打砖块游戏为例，玩家需要左右移动屏
深度强化学习（DRL）一：入门篇
热门推荐
钟鸣的博客
02-27 2万+
目录前言强化学习（RL）的基本概念主要算法和相关分类QlearningSarsaA3C强化学习到深度强化学习 前言 之前通过对AlphaGo Zero的学习，我对深度强化学习有了一定的了解。但是由于没有经过系统的学习，我对其中的知识还有很多不懂的地方。写这一系列文章主要是整理一下网上的资料，梳理这方面的知识，做一下总结。目前网上关于深度强化学习的应用这方向的资料不算多，再加上深度强化学习本身也是一...
通过期望消除不确定性
chen的博客
10-15 240
项目A的回报是一个随机变量X，项目B的回报是一个随机变量Y。为了消除不确定性，投资者可以计算每个项目的期望回报，即E(X)和E(Y)。期望回报表示每个项目在长期内的平均回报，是一个数值度量，它帮助投资者了解项目的预期性能。这并不意味着项目A一定会比项目B好，因为仍然存在不确定性，但它帮助投资者降低了风险，因为他们有了一个更好的期望回报的估计。"通过期望消除不确定性"是指在概率论和决策理论中的一种策略，用于降低不确定性，特别是在涉及多个随机变量的情况下。每个项目都有与之相关的不确定性和风险。
深度强化学习DRL训练指南和现存问题（D3QN（Dueling Double DQN））
luemeon的博客
11-24 1万+
深度强化学习DRL现存问题和训练指南（D3QN（Dueling Double DQN））
强化学习RL 01: Reinforcement Learning 基础
天狼啸月1990的博客
02-27 1173
把Ut当作未来所有动作Ai和所有状态Si的一个函数，未来的动作和状态都有随机性，动作Ai的概率密度函数是policy function π，状态Si的概率密度函数是状态转移函数p，期望就是针对未来Si和Ai求得，出了St和At，其余的随机变量都是积分积掉，被积掉的是At+1,At+2等动作、St+1,St+2等动作，求期望得到的动作价值函数Qπ，其只跟当前动作at、状态st有关。Ut是个随机变量，它依赖于未来所有的动作At,At+1,At+2,...和未来所有的状态St,St+1,St+2,...
DRL（二）—— RL简介
qq_41796745的博客
04-20 2057
RL Structure RL中基本包括三个部分，如下图： Model-Based RL 在model-based RL里，绿格子里是预判下一个状态St+1。橙色格子依然是产生样本，绿色格子是利用这些样本去产生一个fφ，利用这个函数，可以预测下一个状态。用样本使这个函数越来越拟合。 这样可以得到一个确定的policy，a deterministic policy，在确定的环境中可以工作的较好，...
深度强化学习（DRL）算法 4 —— Deep Deterministic Policy Gradient (DDPG)
以后要认真写文章
02-21 1056
就像 q-learning 的 td-target 使用的 max 操作使得模型的偏差更大，因为 q 的值被高估了（实际上这也是 double DQN 的改进），高估问题会影响模型的探索性，DDPG 虽然没有 max 操作，但是仍旧有高估问题的可能。lossq 和 lossa 同时更新不合理，下篇文章提出改进DQN 使用的是深度学习版本的 q-learning，我们都知道期望 Sarsa 是比 Q-learning 更稳定的算法，我们也可以从这个角度出发提出改进。），那么就增加了探索性。
莫烦python简历_强化学习传说：第一章 模仿学习
weixin_36209301的博客
12-29 746
Hello，大家好，这里是糖葫芦喵喵~！经过了几个月的奋斗，大家是不是对炼丹已经有所体会了呢？从今天起我们要进入机器学习的一个非常引人注目的领域——强化学习(reinforcement learning)啦！强化学习部分理论较强，不是很好理解。但是不要怕，相信只要读懂了代码就能够理解了！那么，从这里开始为大家带来伯克利深度强化学习CS294 Fall 2017以及斯坦福强化学习CS234 2017...
一种将 Tree-LSTM 的强化学习用于连接顺序选择的方法
KaiwuDB 数据库
07-07 1278
本篇博客讲解的是2020年由清华大学李国良教授团队发表在ICDE上的论文，介绍它所提出的算法与实验结果，并结合实际情况给出一些思考。
1、强化学习基础知识点
小白的博客
07-05 528
强化学习
几种常见DRL(深度强化学习)方法总结与对比之前提基本概念
七七的博客
11-02 4421
版权声明：本文为博主原创文章，未经博主允许不得转载。                    https://blog.youkuaiyun.com/FrankieHello/article/details/78821488                 从今年的九月份到现在，接触机器学习、深度学习再到现在的深度强化学习已经有三个月的时间了。从java web开发到人工智能的领域转变的过程中，学到了很多很杂的...
DRL学习第一课: 结构梳理和理清概念
Ian的博客
07-20 1096
近期在忙一个比较重要的项目, 做到机器人快速避障,正在努力学习和更新中. 深度强化学习(Deep Reinforcement Learning) 强化学习是机器学习的一个分支, 相较于机器学习经典的有监督学习, 无监督学习问题, 强化学习的最大的特点是在交互中学习(Learning from Interaction). Agent在与环境的交互中根据获得奖励或惩罚不断的学习知识, 更加适应环境. RL学习的范式非常类似于我们人类学习知识的过程, 也正因此, RL被视为实现通用AI重要途径. 强化学.
《机器学习有意思！ 02》- 使用机器学习生成超级玛丽关卡
集智-人工智能，机器学习
04-03 6203
本文首发于集智专栏:https://jizhi.im/blog/post/ml_is_fun_02 在系列的Part 1中我们已经讲过，机器学习是用普适的算法从数据中挖掘出有趣的东西，而无需针对具体问题写代码。 这次我们将见识一种普适算法的炫酷表现——创造乱真的游戏关卡。我们将建立一个神经网络，导入已有的超级马里奥数据，然后创造新的关卡。 正如Part 1一样
DRL---------DQN详解
爱吃火锅的博客
08-06 7228
总结一下DQN. 在传统的强化学习中，例如Q_learning以及Sarsa都需要一张由状态S以及行为A组成的Q表，行为的种类一般较少，比如常见的前进后退两种或上下左右四种等，也就是Q表的列一般还好，可是状态的话就不一定了，有些场景的状态多到可怕，就比如围棋等等，也就是Q表的行数过多，导致的结果就是难以维护如此大的一张Q表。 现在假设有一个函数 f（x） 如果输入状态S就可以得到每个行为的Q...
如何用人工智能秒杀超级马里奥游戏
优快云资讯
01-07 6940
点击上方“优快云”，选择“置顶公众号”关键时刻，第一时间送达！近日，Einfach nerdig 在 Youtube 上发起了一个直播：通过人工智能学习系统来播放“超级马里奥”。目前这个直播仍然很受欢迎。人工智能系统 MarI/O 由 SethBling 创造，拥有庞大粉丝群体的他并不是直播发起人。目前，发起直播的账号嵌套功能已经被禁用了，但网友们仍然可以在 YouTube（https://ww
二项分布和泊松分布
愚公
12-26 1414
篮球运动员比赛前6分钟分别投中的次数为：4、6、8、5、4、3次，求该篮球运动员一分钟内能投进4次的概率是多少。二项分布用于求解二项随机事件进行多次独立实验，事件发生次数的概率。由于篮球被投中是瞬间发送的，因此可以将n取无穷大。份，认为每一份要么出现一次投中篮球，要么不出现投中篮球。某位篮球运动员的投篮命中率为70%，求投篮10次命中8次的概率是多少。泊松分布是基于二项分布，求单位空间/时间内二项随机事件发生次数的概率。代表事件在单位空间/时间内发生的平均次数。了，由于事件在单位时间内发生的平均次数是。
机器学习——贝叶斯
最新发布
2401_83998832的博客
12-29 1216
正向概率：假设袋子里有10个白球，90个黑球，然后从袋子里面拿出1个球，拿出的球是白球的概率是多少？显然，白球的概率是1/10逆向概率：如果我们事先并不知道袋子里白球、黑球的比例，然后通过多次试验，根据拿出来的球的颜色推测袋子里白球、黑球的比例贝叶斯分类器的代码使用：朴素贝叶斯算法，中文处理classalpha=1.0参数：1.多项式分布的朴素贝叶斯。2.控制模型拟合时的平滑度定义：alpha是一个浮点数，表示添加剂（拉普拉斯/Lidstone）平滑参数。
机器学习 - Python 库
路漫漫其修远兮，吾将上下而求索
12-29 714
Python机器学习库概述：NumPy提供高效数组运算，是科学计算基础；Pandas擅长数据处理与分析；SciPy扩展科学计算功能；Scikit-learn实现主流机器学习算法；PyTorch和TensorFlow是深度学习框架；Keras提供高级神经网络API；Matplotlib和Seaborn用于数据可视化；OpenCV处理计算机视觉任务；NLTK和spaCy支持自然语言处理。这些库构成了Python强大的机器学习生态系统，覆盖数据处理、模型构建、训练评估等全流程，显著提升开发效率。
CHIPX Global 计划在马来西亚建设一座 8 英寸氮化镓/碳化硅（GaN/SiC）晶圆制造工厂
qq_28126171的博客
12-25 167
总部位于都柏林的爱尔兰 CHIPX 公司，计划于马来西亚设立一座 8 英寸氮化镓/碳化硅（GaN - on - SiC）晶圆制造工厂。CHIPX 公司宣称，其专注于 GaN - on - SiC 技术，能够制造出具备高耐压特性的功率集成电路以及光子器件。此类核心技术对于人工智能数据中心、电视以及航空航天领域的高性能系统而言，具有举足轻重的意义。除了开展工厂建设工作，CHIPX 还谋划打造一个垂直整合的平台。该平台涵盖有组织的技术转让、工程合作伙伴关系以及针对当地人才的专项培养计划等内容。
基于Matlab的三维图形绘制与DRL算法实现-FYP_NUSRI_RL_BOTSP
此外，代码还包括了深度强化学习（DRL）训练和测试双目标旅行商问题（TSP）的相关内容。以下是对标题、描述和标签中提及的知识点进行的详细说明： 1. **MATLAB三维图形绘制**：MATLAB是一种广泛应用于工程计算、...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值