RL论文阅读【二】Human-level control through deep reinforcement learning

最新推荐文章于 2023-11-09 14:41:19 发布
原创 最新推荐文章于 2023-11-09 14:41:19 发布 · 731 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

1废话

这篇论文和上一篇其实都差不多，都是DQN，都是 DeepMind 的，作者也都一样，不过还是有一些改进的，下面就直说改进了，不说背景了。

2 算法改进

有两个比较大的改进：

（1）加了一个 target Q，每个 C step 将当前的 Q 网络的参数赋值给 target Q。作用是在训练过程中，固定目标值，也就是y_{t} = r_{t} + \gamma max_{a_{t+1}}}(targetQ (s_{t+1}, a_{t+1}}))，防止 divergence 或 oscillations的发生。

（2）将y_{t} - Q(s_{t}, a_{t})的误差 clip 在了 -1 到 1，为了增加算法的稳定性。

（3）还有一些训练参数改了，比如没有再用随机梯度下降，而选择 RMSProp，具体的参数见论文的 Extended table 1。

3 实验

比起上一篇论文，测试了更多的游戏（49个），对比效果肯定是很不错的。同时根据隐藏层的最后一层，用t-SNE，将图像的表征降为在了2维中，证明了算法所使用的 CNN 的确从原始画面中提取到的特征，输出 Q 值表示了未来期望获得的 reward。

 

参考：Human-level control through deep reinforcement learning

Humanlevel control through deep reinforcement learning—
AI天才研究院
09-03 2239
作者：禅与计算机程序设计艺术 1.简介 深度强化学习（Deep Reinforcement Learning）是一种强大的基于模型的机器学习方法，其特点是模仿人类的学习方式，能够从经验中快速获取知识并进行决策。在游戏领域、自然语言处理领域等多个领域，深度强化学习已经取得了重大成功。本文对这一最新的研究成
Mnih, Volodymyr, et al.: Humanlevel control through dee
AI天才研究院
09-12 3140
作者：禅与计算机程序设计艺术 1.简介 人工智能（AI）已成为当今世界的热门话题之一，而通过强化学习（RL）可以让机器具有更高的智能性和自主性，使其能够在复杂环境中快速、灵活地解决问题。近年来深度强化学习（Deep RL）技术的研究已经取得了突破性进展，许多优秀的研究成果被应用到实际问题中。然而，如何运
Human-level control through deep reinforcement learning 理解
12-18
Human-level control through deep reinforcement learning 理解
强化学习论文研读（三）——Human-level control through deep reinforcement learning
星之所望的博客
01-31 1254
提出nature-DQN算法的论文，主要改进： 使用bata-buffer的方式随机储存状态回放，消除数据的相关性，平滑数据的分布。 使用定期更新Q的方式，使减少与当前目标的相关性，也就是所谓的target-Q网络。 数据可视化： t-SNE算法，用于在二维或三维的低维空间中表示高维数据集，从而使其可视化，对DQN得到的隐层输出进行降维，观察各种输入状态的相关性，很有用。 在论文中，人类和算法的操作，在镶嵌进2d空间后，有很强的的相关性，表明两者决策方法类似。 橙色人类，蓝色AI 数据预处理
Human-level control through deep reinforcement learning.pdf
01-14
Nature资源，有关深度强化学习论文，可免费下载，资源共享
论文理解【RL经典】 —— 【DQN】Human-level control through deep reinforcement learning
佚失的诗篇
04-13 1万+
标题：Human-level control through deep reinforcement learning 发表：Nature 2015 领域：强化学习经典（DQN系列）
【强化学习】Human-level control through deep reinforcement learning（2015）
HTS's Blog
04-22 814
强化学习中，智能体面对的一个问题是：它们必须从高维输入得到有效的环境表示，并且可以把这些传递给新的环境中。 当非线性方程approximator例如神经网络被用于表示Q function，强化学习酒会不稳定甚至发散，不稳定性有以下原因： 在观察序列中的相关性。 Q的小的更新可能会严重的改变策略，从而改变数据分布，action-value（Q）和target value之间的联系（为什么？？） ...
【论文笔记】Applications of Deep Reinforcement Learning in Communications and Networking: A Survey
观林望实的博客
06-30 3854
摘要 本文综述了深度强化学习（DRL）在通信和网络中的应用。现代网络中的实体需要在网络环境不确定的情况下在本地进行决策，以使网络性能最大化。强化学习被有效地用于使网络实体在状态空间和行为空间较小的情况下，获得动作的最优选择。然而，在复杂的大规模网络中，状态空间和动作空间往往很大，强化学习可能无法在合理的时间内找到最优策略。因此，发展强化学习与深度学习相结合的DRL来克服这一不足。在本次调查中，我们首先提供了从基本概念到高级模型的DRL教程。然后，我们回顾了为解决通信和网络中的新问题而提出的DRL方法。这些
Deep-Q-Learning:这是我尝试实施Volodymyr Mnih，Koray Kavukcuoglu，David Silver，Alex Graves，Ioannis Antonoglou，Daan Wierstra和Martin Riedmiller撰写的论文“通过深度强化学习玩Atari”。 这是我在阅读和实施研究论文时的首次尝试
04-17
该算法由Volodymyr Mnih等人在2013年的论文《Playing Atari with Deep Reinforcement Learning》中提出，并在2015年的《Human-level control through deep reinforcement learning》中进行了详细阐述。DQN的主要贡献...
LEARNING TO SCHEDULE COMMUNICATION IN MULTI-AGENT REINFORCEMENT LEARNING
weixin_41697507的博客
06-24 4242
ABSTRACT Many real-world reinforcement learning tasks require multiple agents to make se- quential decisions under the agents’ interaction, where well-coordinated actions among the agents are crucial ...
中文翻译《Human-level control through deep reinforcement》
01-11
对论文《Human-level control through deep reinforcement》的中文翻译的文档
Human-level control through deep reinforcement learning
09-25
Human-level control through deep reinforcement learning 强化学习
论文笔记之：Human-level control through deep reinforcement learning
a1424262219的博客
06-13 863
Human-level control through deep reinforcementlearning Nature 2015 Google DeepMind Abstract　 　　RL 理论 在动物行为上，深入到心理和神经科学的角度，关于在一个环境中如何使得 agent 优化他们的控制，提供了一个正式的规范。为了利用RL成功的接近现实世界的复杂度的环境中...
论文笔记：Human-level control through deep reinforcement learning
彩虹糖的博客
08-05 4207
Human-level control through deep reinforcement learning 论文链接：https://courses.cs.washington.edu/courses/cse571/16au/slides/dqn_nature.pdf 论文来源：Nature（还是第一次读nature上的论文） 论文摘要 强化学习的理论根植于心理学和行为学在...
DQN原文解读-2015-Human-level control through deep reinforcement learning
最新发布
西西与贝贝
11-09 743
论文：doi:10.1038/nature14236。
Human-Level Control Through Deep Reinforcement Learning论文解读
linchunmian的博客
03-03 4784
以下是我对Human-Level Control Through Deep Reinforcement Learning这篇论文的解读。首先是对本文提出的问题进行总结；其次综述性地阐述了本研究提出的算法及实验结果，并给出自己理解；最后对本研究方法论，即预处理、模型结构及训练细节进行总结。问题提出：1.  强化学习中智能体(agent)在面对复杂外界环境时的局限性：他们需要从高维空间学习到输入数据的...
Human-level control through deep reinforcement learning(中文翻译)
热门推荐
zbr123zbr的博客
04-11 1万+
利用深度强化学习算法实现人类水平的控制 作者： Volodymyr Mnih1*, Koray Kavukcuoglu1*, David Silver1*, Andrei A. Rusu1, Joel Veness1, Marc G. Bellemare1, Alex Graves1, Martin Riedmiller1, Andreas K. Fidjeland1, Georg Ostr
Paper reading： Human-level control through deep reinforcement learning
weixin_40485472的博客
03-18 239
提出问题： To use reinforcement learning successfully insituationsapproaching real-world complexity, however, agents are confrontedwith a difficult task: theymust derive efficient representations of the...
Closed-loop Rescheduling using Deep Reinforcement Learning
05-12
Closed-loop rescheduling using deep reinforcement learning is an approach to optimize scheduling decisions in a dynamic environment. In this approach, a deep reinforcement learning model is trained to...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值