A Distributional Perspective on Reinforcement Learning

最新推荐文章于 2022-10-13 17:13:32 发布
最新推荐文章于 2022-10-13 17:13:32 发布
阅读量2.2k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 深度学习入门
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/liyaohhh/article/details/81750293
本文探讨了传统强化学习算法如Q-learning存在的问题，特别是在状态值函数的估计中可能产生的偏差。文章提出了一种新的方法，即将状态值函数的学习转变为状态值的分布函数学习，以更准确地反映真实世界中的不确定性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

传统的强化学习算法例如Q-learning算法学习的是state-action值函数，而这篇文章的核心是学习state-action的概率分布。

具体各简单的例子：例如我们在上班是需要经过6站地铁，每站地铁平均需要5分钟，则上上班需要30分钟。如果每个星期（5天），地铁都会出毛病，则就需要耽误耽搁一个小时。正常情况下上班的时间期望，也就是均值是30分钟，在火车出现故障的情况下，则每天的上班时间期望为30+60/5=42。42表示一周5天之内上班的平均期望值，也就是使用state-action的状态值函数时得到的结果。

  • 如果在正常情况下，使用state-action值函数会导致overestimates 
  • 在出现故障的情况下，会导致underestimates 

基于上述问题，本文将状态值函数改变为状态值的分布函数。

https://flyyufelix.github.io/2017/10/24/distributional-bellman.html

A Guide Resource for Deep Reinforcement Learning
AI拉呱，专注于人工智与网络安全方面的研究，关注一起学习。
12-24 913
A Guide Resource for Deep Reinforcement Learning 1. About this work: This deep intensive learning database was initiated by the 【 Deep Reinforcement Learning Laboratory(DeepRL-Lab) 】and was jointly c...
基于分位数回归的分布强化学习（Distributional Reinforcemet Learning with Quantile Regression)
weixin_41168254的博客
05-20 5975
引入 Deep Mind团队联合剑桥大学在2017年提出了一种新的强化学习范式——基于分位数回归的分布强化学习（QR-DRL），为强化学习的未来发展指明了一个更加有前景的方向，以学习回报值的概率分布来代替学习回报值的期望值。Deep Mind的论文通过在atari游戏中的实验，证明了QR-DRL的强大性能，在众多游戏中都达到了state-of-art。私以为QR-DRL是近年来为数不多的，从根本理...
A Distributional Perspective on Reinforcement Learning.pdf
09-02
关于A Distributional Perspective on Reinforcement Learning的原始论文，适合初学者对深度强化学习A Distributional Perspective on Reinforcement Learning的认识和了解
《A Distributional Perspective on Reinforcement Learning》的理解
StreamRock的专栏
01-28 3242
参考： 1、《A Distributional Perspective on Reinforcement Learning》https://arxiv.org/abs/1707.06887 2、《Distributional Bellman and the C51 Algorithm》https://flyyufelix.github.io/2017/10/24/distributional-b...
强化学习的学习之路（二十三）_2021-01-23：Distributional DQN：A Distributional Perspective on Reinforcement Learning
热爱可抵漫长岁月
02-26 1121
作为一个新手，写这个教程也是想和大家分享一下自己学习强化学习的心路历程，希望对大家能有所帮助。这个系列后面会不断更新，希望自己能保证起码平均一天一更的速度，先是介绍强化学习的一些基础知识，后面介绍强化学习的相关论文。本来是想每一篇多更新一点内容的，后面想着大家看优快云的话可能还是喜欢短一点的文章，就把很多拆分开来了，目录我单独放在一篇单独的博客里面了。完整的我整理好了会放在github上，大家一起互相学习啊！可能会有很多错漏，希望大家批评指正！ 接下来的几个博客将会分享以下有关DQN算法及其改进，包括DQ
PaperNotes(13)-Conditional Image Generation with PixelCNN Decoders
sinat_40624829的博客
03-07 807
GANs模式坍塌问题相关文章1.MAD-GAN2.Unrolled GAN3.DRAGAN4.D2GAN5.InfoGAN6.Deligan7.EBGAN8.Maximum Entropy Generators for Energy-Based Models 从纳什均衡点来说模式坍塌问题：说有两种方案来解决模式坍塌： https://zhuanlan.zhihu.com/p/86683281：修改网络结构MAD-GAN。 https://zhuanlan.zhihu.com/p/84072188：提高网络能
不动点理论在《A Distributional Perspective on Reinforcement Learning》上的应用
StreamRock的专栏
03-22 1762
Fixed point理论是 Banach Space 中重要的理论工具。它常被用来讨论某个空间解的存在性，并由此发展出通过迭代的方式进行问题求解的算法。在[1]中，Fixed Piont理论处于整个算法的核心位置，是以分布式Bellman方程代替期望值Bellman方程的理论基础。本文将分成两个部分浅析之：第一部分 Fixed Point的迭代算法介绍；第二部分 Distributional 算...
A Distribution Perspective on Reinforcement Learning(C51) 概率分布下的贝尔曼方程
秋曾万的博客
12-26 3564
原本的Bellman Equation 更新为 ////// 状态值函数Q(x,a)Q(x,a)Q(x,a)是一个单点值函数，表示x状态下执行a动作的累计回报（期望） 去掉期望后，得到的就是一个关于随机变量的函数关系： ////// 这里的随机变量Z(x,a)Z(x,a)Z(x,a) 是在x状态下执行a动作之后的回报形成的随机变量。注意它是具有概率...
【方法总结】值分布强化学习（Distributional RL）
深度强化学习实验室：一个“开源开放、共享共进”的强化学习学术组织。
01-13 8983
深度强化学习实验室官网：http://www.neurondance.com/来源：微软研究院AI头条授权转载编辑：DeepRL值分布强化学习（Distributional Reinfo...
强化学习 Reinforcement Learning（七）—— 值分布强化学习算法 C51
wzduang的博客
03-02 4308
本文主要介绍值分布强化学习的一些基本概念，然后聊一聊值分布强化学习的开山之作 —— C51。
Distributional Reinforcement Learning with Quantile Regression.pdf
09-02
Distributional Reinforcement Learning with Quantile Regression
多模态multi-modality和多组学multi-omics的区别
watermel__的博客
06-06 1908
多模态就是同时测一个细胞的多个信息，多组学是指多个组学，不一定来源于同一细胞
Multi-modality Latent Interaction Network for Visual Question Answering阅读笔记
qq_38343151的博客
11-29 991
一、摘要 作者认为现有的研究关系的方法大多是单个视觉区域和单词之间的模型关系，不足以正确回答问题。因为从人类的角度来看，回答视觉问题需要理解视觉和语言信息的总结。在这篇论文中，作者提出了用于视觉问答的多模态潜在交互网络模型（MLI）来解决这个问题。该模型学习潜在视觉和语言摘要之间的交叉模式关系，将视觉区域和问题归纳为少量的潜在表示，从而避免建模无信息单个视觉-问题关系。潜在摘要之间的跨模态信息被...
kl散度度量分布_强化学习新思潮1：值分布强化学习（04）
weixin_42124497的博客
12-16 794
经典强化学习有比较好的理论保证，尽管值分布强化学习的效果很好，但理论分析比较少。本文继续介绍值分布强化学习算法的理论分析。参考论文为“An Analysis of Categorical Distributional Reinforcement Learning”。Wasserstein 度量Bellemare等在他们的第一篇值分布强化学习论文“A Distributional Perspecti...
用于视觉问答的多模态潜在交互网络模型《Multi-modality Latent Interaction Network for Visual Question Answering》
xiashilin的博客
11-05 1988
目录 一、文献摘要介绍 二、网络框架介绍 三、实验分析 四、结论 本文有点长，请耐心阅读，定会有收货。如有不足，欢迎交流，另附:论文地址 一、文献摘要介绍 Exploiting relationships between visual regions and question words have achieved great success in learning...
多模态融合2-人脸
csdn13261311766的博客
10-13 459
近年，利用RGB-D数据进行人脸识别的方案已经被广泛采用，然而现有方法多使用相同处理方式处理所有的模态，这没有充分考虑模态的差异，忽略了模态之间的相关性。作者提出一种新的RGBD多模态融合的人脸识别方案，能够学习多个模态之间的共同特征以及互补特征，进一步扩展多模态的学习能力。由于RGB和depth分别描述了人脸的纹理和形状信息，这两种模态应该是相关且可以互补的，通过引入联合损失，来增强模态之间的交互。直接使用提出的上面互补特征学习的网络，来获得RGB-to-RGB的匹配得分。其中，W j W_{j}W。
PaperNotes(7)-GANs模式坍塌、训练不稳定 相关论文
sinat_40624829的博客
11-05 1526
A distributional perspective on reinforcement learningabstract1.Introduction2.setting2.1. Bellman's Equations3.The Distributional Bellman Operators3.1 Distributional Equations3.2. The Wasserstein Metric3.3. Policy Evaluation3.3.1. CONTRACTION IN dp3.3.2. C
【代码集合】深度强化学习Pytorch实现集锦
机器学习算法与Python学习
10-23 4735
本次分享的是用PyTorch语言编写的深度强化学习算法的高质量实现，这些IPython笔记本的目的主要是帮助练习和理解这些论文；因此，在某些情况下，我将选择可读性而不是效...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值