A Distributional Perspective on Reinforcement Learning

最新推荐文章于 2021-03-02 10:40:16 发布
原创 最新推荐文章于 2021-03-02 10:40:16 发布 · 2.2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了传统强化学习算法如Q-learning存在的问题，特别是在状态值函数的估计中可能产生的偏差。文章提出了一种新的方法，即将状态值函数的学习转变为状态值的分布函数学习，以更准确地反映真实世界中的不确定性。

传统的强化学习算法例如Q-learning算法学习的是state-action值函数，而这篇文章的核心是学习state-action的概率分布。

具体各简单的例子：例如我们在上班是需要经过6站地铁，每站地铁平均需要5分钟，则上上班需要30分钟。如果每个星期（5天），地铁都会出毛病，则就需要耽误耽搁一个小时。正常情况下上班的时间期望，也就是均值是30分钟，在火车出现故障的情况下，则每天的上班时间期望为30+60/5=42。42表示一周5天之内上班的平均期望值，也就是使用state-action的状态值函数时得到的结果。

  • 如果在正常情况下，使用state-action值函数会导致overestimates 
  • 在出现故障的情况下，会导致underestimates 

基于上述问题，本文将状态值函数改变为状态值的分布函数。

https://flyyufelix.github.io/2017/10/24/distributional-bellman.html

《A Distributional Perspective on Reinforcement Learning》的理解
StreamRock的专栏
01-28 3332
参考： 1、《A Distributional Perspective on Reinforcement Learning》https://arxiv.org/abs/1707.06887 2、《Distributional Bellman and the C51 Algorithm》https://flyyufelix.github.io/2017/10/24/distributional-b...
PaperNotes(13)-Conditional Image Generation with PixelCNN Decoders
sinat_40624829的博客
03-07 841
GANs模式坍塌问题相关文章1.MAD-GAN2.Unrolled GAN3.DRAGAN4.D2GAN5.InfoGAN6.Deligan7.EBGAN8.Maximum Entropy Generators for Energy-Based Models 从纳什均衡点来说模式坍塌问题：说有两种方案来解决模式坍塌： https://zhuanlan.zhihu.com/p/86683281：修改网络结构MAD-GAN。 https://zhuanlan.zhihu.com/p/84072188：提高网络能
A Distributional Perspective on Reinforcement Learning.pdf
09-02
关于A Distributional Perspective on Reinforcement Learning的原始论文，适合初学者对深度强化学习A Distributional Perspective on Reinforcement Learning的认识和了解
强化学习的学习之路（二十三）_2021-01-23：Distributional DQN：A Distributional Perspective on Reinforcement Learning
热爱可抵漫长岁月
02-26 1220
作为一个新手，写这个教程也是想和大家分享一下自己学习强化学习的心路历程，希望对大家能有所帮助。这个系列后面会不断更新，希望自己能保证起码平均一天一更的速度，先是介绍强化学习的一些基础知识，后面介绍强化学习的相关论文。本来是想每一篇多更新一点内容的，后面想着大家看优快云的话可能还是喜欢短一点的文章，就把很多拆分开来了，目录我单独放在一篇单独的博客里面了。完整的我整理好了会放在github上，大家一起互相学习啊！可能会有很多错漏，希望大家批评指正！ 接下来的几个博客将会分享以下有关DQN算法及其改进，包括DQ
不动点理论在《A Distributional Perspective on Reinforcement Learning》上的应用
StreamRock的专栏
03-22 1972
Fixed point理论是 Banach Space 中重要的理论工具。它常被用来讨论某个空间解的存在性，并由此发展出通过迭代的方式进行问题求解的算法。在[1]中，Fixed Piont理论处于整个算法的核心位置，是以分布式Bellman方程代替期望值Bellman方程的理论基础。本文将分成两个部分浅析之：第一部分 Fixed Point的迭代算法介绍；第二部分 Distributional 算...
PaperNotes(11)-A distributional perspective on reinforcement learning
sinat_40624829的博客
11-15 281
Learning deep energy model: contrastive divergence vs. Amortized MLEabstract1 Introduction2 Background2.1 stein variational gradient descent2.2 learning energy model**contrastive Divergence** abstract 受SVGD算法的启发,本文提出两个算法用于从数据中学习深度能量模型.两个算法分别为:SteinC算法和Stei
A Distribution Perspective on Reinforcement Learning(C51) 概率分布下的贝尔曼方程
秋曾万的博客
12-26 3589
原本的Bellman Equation 更新为 ////// 状态值函数Q(x,a)Q(x,a)Q(x,a)是一个单点值函数，表示x状态下执行a动作的累计回报（期望） 去掉期望后，得到的就是一个关于随机变量的函数关系： ////// 这里的随机变量Z(x,a)Z(x,a)Z(x,a) 是在x状态下执行a动作之后的回报形成的随机变量。注意它是具有概率...
【方法总结】值分布强化学习（Distributional RL）
深度强化学习实验室：一个“开源开放、共享共进”的强化学习学术组织。
01-13 9773
深度强化学习实验室官网：http://www.neurondance.com/来源：微软研究院AI头条授权转载编辑：DeepRL值分布强化学习（Distributional Reinfo...
强化学习 Reinforcement Learning（七）—— 值分布强化学习算法 C51
wzduang的博客
03-02 4582
本文主要介绍值分布强化学习的一些基本概念，然后聊一聊值分布强化学习的开山之作 —— C51。
Visual Reinforcement Learning with Imagined Goals
Ray
06-18 742
文章来自 University of California, Berkeley，提出了一种将 goal-conditioned RL 与 无监督表示学习相结合的算法 --- RIG (Reinforcement learning with Imagined Goals)，该算法具有较高的样本效率，能够在真实世界中训练。
PaperNotes(7)-GANs模式坍塌、训练不稳定 相关论文
sinat_40624829的博客
11-05 1593
A distributional perspective on reinforcement learningabstract1.Introduction2.setting2.1. Bellman's Equations3.The Distributional Bellman Operators3.1 Distributional Equations3.2. The Wasserstein Metric3.3. Policy Evaluation3.3.1. CONTRACTION IN dp3.3.2. C
【代码集合】深度强化学习Pytorch实现集锦
机器学习算法与Python学习
10-23 4869
本次分享的是用PyTorch语言编写的深度强化学习算法的高质量实现，这些IPython笔记本的目的主要是帮助练习和理解这些论文；因此，在某些情况下，我将选择可读性而不是效...
基于分位数回归的分布强化学习（Distributional Reinforcemet Learning with Quantile Regression)
weixin_41168254的博客
05-20 6152
引入 Deep Mind团队联合剑桥大学在2017年提出了一种新的强化学习范式——基于分位数回归的分布强化学习（QR-DRL），为强化学习的未来发展指明了一个更加有前景的方向，以学习回报值的概率分布来代替学习回报值的期望值。Deep Mind的论文通过在atari游戏中的实验，证明了QR-DRL的强大性能，在众多游戏中都达到了state-of-art。私以为QR-DRL是近年来为数不多的，从根本理...
第1156期AI100_机器学习日报(2017-11-17)
ai100_ml的博客
11-24 484
AI100_机器学习日报 2017-11-17 各种聚类算法的对比 @一起大数据如何估算深度神经网络的最优学习率 @机器之心SyncedCoRL文章推荐 @ChatbotsChina设备端深度神经网络人脸检测 @爱可可-爱生活TensorFlow实现神经网络入门篇 @阿里云云栖社区 @好东西传送门 出品,由@AI100运营， 过往目录 见http://geek.ai100.c
hive入门学习：数据倾斜的解决方案
HAHA的专栏
02-19 980
hive入门学习：数据倾斜的解决方案           众所周知，shuffle是整个大数据框架的心脏，是整个奇迹发生的地方，当然，问题也就发生在shuffle这里，数据倾斜是经常发生在这里。这里主要讨论的就是和数据倾斜相关的解决方案。数据倾斜就是由于数据分布不均匀，数据大量集中到一点上，造成数据热点。大多数情况下，分为一下三种情况：         map端执行比较快，reduce
二、DRL系列-Dueling DDQN+Prioritized DDQN+A3C+distributional DQN（学习笔记）
snowleafzf的博客
02-21 1857
rainbow的所有模型： https://blog.youkuaiyun.com/philthinker/article/details/81043882 rainbow论文中文简介：http://www.sohu.com/a/198378840_642762 rainbow Tensorflow代码：https://github.com/google/dopamine/blob/master/dop...
UC伯克利 NIPS2018 Spotlight论文：依靠视觉想象力的多任务强化学习
高触Toucher
09-25 661
来源 | AI科技评论 编译 | 高云河 AI 科技评论按：NIPS 2018 的录用论文近期已经陆续揭开面纱，强化学习毫不意外地仍然是其中一大热门的研究领域。来自加州大学伯克利分校人工智能实验室（BAIR）的研究人员分享了他们获得了 NIPS 2018 spotlight 的研究成果：Visual Reinforcement Learning with Imagined Goals。他们提出...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值