Combining policy gradient and Q-learning

最新推荐文章于 2022-09-20 16:18:15 发布
转载 最新推荐文章于 2022-09-20 16:18:15 发布 · 7.7k 阅读 · 1

本文提出了一种结合策略梯度与离策略Q学习的新方法——PGQL，该方法通过从经验回放缓冲区中抽取数据进行更新，实现了策略梯度方法对离策略数据的有效利用。此外，还建立了动作价值拟合技术和演员-评论家算法之间的等价性，并展示了正则化策略梯度方法可以被解释为优势函数学习算法。
https://arxiv.org/abs/1611.01626
Brendan O'Donoghue,  Remi Munos,  Koray Kavukcuoglu,  Volodymyr Mnih
(Submitted on 5 Nov 2016 ( v1), last revised 7 Apr 2017 (this version, v3))
Policy gradient is an efficient technique for improving a policy in a reinforcement learning setting. However, vanilla online variants are on-policy only and not able to take advantage of off-policy data. In this paper we describe a new technique that combines policy gradient with off-policy Q-learning, drawing experience from a replay buffer. This is motivated by making a connection between the fixed points of the regularized policy gradient algorithm and the Q-values. This connection allows us to estimate the Q-values from the action preferences of the policy, to which we apply Q-learning updates. We refer to the new technique as 'PGQL', for policy gradient and Q-learning. We also establish an equivalency between action-value fitting techniques and actor-critic algorithms, showing that regularized policy gradient techniques can be interpreted as advantage function learning algorithms. We conclude with some numerical examples that demonstrate improved data efficiency and stability of PGQL. In particular, we tested PGQL on the full suite of Atari games and achieved performance exceeding that of both asynchronous advantage actor-critic (A3C) and Q-learning.
Subjects: Learning (cs.LG); Artificial Intelligence (cs.AI); Optimization and Control (math.OC); Machine Learning (stat.ML)
Cite as: arXiv:1611.01626 [cs.LG]
  (or arXiv:1611.01626v3 [cs.LG] for this version)

Submission history

From: Brendan O'Donoghue [ view email] 
[v1] Sat, 5 Nov 2016 10:49:37 GMT (1094kb,D)
[v2] Mon, 6 Mar 2017 12:38:42 GMT (892kb,D)
[v3] Fri, 7 Apr 2017 15:20:05 GMT (893kb,D)
策略梯度 (Policy Gradient)
AI天才研究院
07-30 1150
策略梯度 (Policy Gradient) 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：策略梯度，强化学习，蒙特卡洛方法，时序决策，智能优化 1. 背景介绍
THE WISDOM OF THE CROWD: RELIABLE DEEP REINFORCEMENT LEARNING THROUGH ENSEMBLES OF Q--FUNCTIONS
weixin_41697507的博客
06-27 1316
ABSTRACT Reinforcement learning agents learn by exploring the environment and then ex-ploiting what they have learned. This frees the human trainers from having to know the preferred action or intrins...
【论文阅读】强化学习-Other Directions for Combining Policy-Learning and Q-Learning专题4篇
Xixoqw的博客
11-12 3354
文章目录Combining Policy Gradient and Q-learning, O’Donoghue et al, 2016. Algorithm: PGQL.The Reactor: A Fast and Sample-Efficient Actor-Critic Agent for Reinforcement Learning, Gruslys et al, 2017. Algorithm: Reactor.Interpolated Policy Gradient: Merging On-P
强化学习Q learning与policy gradient
mykeylock的博客
09-07 5544
开始学习强化学习： 包括alphago等都是强化学习的典型。 最典型的强化学习的算法为Q learning，这个算法的简介博客： https://www.zhihu.com/question/26408259 目前只是明白了Q learning的算法，还有很多要学习的。
RL两大类算法的本质区别？（Policy Gradient 和 Q-Learning)
fly2cd的专栏
07-13 924
Q-learning 是一种基于值函数估计的强化学习方法，Policy Gradient是一种策略搜索强化学习方法。两者是求解强化学习问题的不同方法，如果熟悉监督学习，前者可类比Naive Bayes——通过估计后验概率来得到预测，后者可类比SVM——不估计后验概率而直接优化学习目标。 回答问题： 1. 这两种方法的本质上是否是一样的（解空间是否相等）？比如说如果可以收敛到最优解，那么对于同一个问题它们一定会收敛到一样的情况？ 两者是不同的求解方法，而解空间（策略空间）不是由求解方法确定的，而是由策略模型确
强化学习（1）-Qlearning和policygradient
fangting的博客
01-16 902
Qlearning： Initialize Q arbitrarily //随机初始化Q值 Repeat (for each episode): //每一次游戏，从小鸟出生到死亡是一个episode Initialize S //小鸟刚开始飞，S为初始位置的状态 Repeat (for each step of episode): 根据当前Q和位置S，使用一种策略，...
【论文笔记】Combining Reinforcement Learning and Rule-based Method to Manipulate Objects in Clutter
m0_48948682的博客
03-21 5057
Combining Reinforcement Learning and Rule-based Method to Manipulate Objects in Clutter 文章目录**Combining Reinforcement Learning and Rule-based Method to Manipulate Objects in Clutter****Abstract****Introduction****Pushing and Grasping****Pushing****Grasping
DQN（deep Q-network）算法简述
热门推荐
星海浮生
03-11 5万+
基本概念；进阶技巧；连续动作的场景
【论文笔记】Applications of Deep Reinforcement Learning in Communications and Networking: A Survey
观林望实的博客
06-30 3962
摘要 本文综述了深度强化学习（DRL）在通信和网络中的应用。现代网络中的实体需要在网络环境不确定的情况下在本地进行决策，以使网络性能最大化。强化学习被有效地用于使网络实体在状态空间和行为空间较小的情况下，获得动作的最优选择。然而，在复杂的大规模网络中，状态空间和动作空间往往很大，强化学习可能无法在合理的时间内找到最优策略。因此，发展强化学习与深度学习相结合的DRL来克服这一不足。在本次调查中，我们首先提供了从基本概念到高级模型的DRL教程。然后，我们回顾了为解决通信和网络中的新问题而提出的DRL方法。这些
policy gradient
Deep Learning and NLP Farm
12-26 999
最近看强化学习的文章，里面涉及到的一个概念就是 policy gradient, 在网上找到的资料，觉得写得非常棒，特意总结于此，以备时时查看。 https://www.jianshu.com/p/e9d47bb2dab2?utm_source=oschina-app ...
Policy Gradient
Ubuntu装机必备
11-22 371
一、介绍 回顾以下以前 value-based的方法：在value-based方法中，他们都是去学习一个动作的价值函数，然后根据这个动作的价值函数作出下一步选择。以至于这个方法高度依赖动作价值函数，如果没有动作价值函数，也就不知道如何为下一步作出抉择。 在本文中，我们提出一种新的想法来解决Reinforcement Learning 中的决策问题。即直接去训练这么一个策略，它能直接给出下一步动作是...
强化学习（二）：Policy Gradient理解
suai9292的博客
04-12 8611
上一章已经介绍了基于值函数方法的简单的DQN的理解，而在深度强化学习领域另一种基于端到端思路的策略梯度（Policy Gradient）算法相较而言可能取得更好的结果，也更加方便理解。于是，本章我们就从有监督学习和强化学习的区别开始讲起，探讨策略梯度思想指导下的强化学习理念的简单理解。在之前的章节：强化学习(一)：简单的DQN理解中，我们已经了解到使用值函数的方法进行强化学习的本质是需要通过奖励的...
Policy Gradient - 策略梯度
Steve Wang's blog
08-26 708
策略梯度(Policy Gradient) 在一个包含Actor、Env、Reward Function的强化学习的情景中，Env和Reward Function是你所不能控制的。 Actor的策略π\piπ是一个参数为θ\thetaθ的网络 输入：以向量或者矩阵表示的机器观察 输出：关联到输出层某个神经元的一个动作 策略执行的过程可以表示为一个迹(Trajectory)τ=s1,a1,s2...
Policy gradient(策略梯度详解)
ygp12345的博客
10-11 2万+
文章目录策略梯度基本知识什么是策略梯度？强化学习案例策略梯度公式详解如何使你的损失函数更好增加一个基准为每一个action分配不同的权重 策略梯度基本知识 什么是策略梯度？ 直接根据状态输出动作或者动作的概率。那么怎么输出呢，最简单的就是使用神经网络啦！我们使用神经网络输入当前的状态，网络就可以输出我们在这个状态下采取每个动作的概率，那么网络应该如何训练来实现最终的收敛呢？我们之前在训练神经网络时，使用最多的方法就是反向传播算法，我们需要一个误差函数，通过梯度下降来使我们的损失最小。但对于强化学习来说，我们
策略梯度（Policy Gradient）
m0_61616957的博客
09-20 2478
策略梯度
强化学习: Policy Gradient
专注人工智能，主攻CV
04-16 3830
强化学习--策略梯度（Policy G）
Privacy-Preserving Machine Learning Using Federated Learning and Secure Aggregation
05-04
Privacy-preserving machine learning is becoming increasingly important in today's world where data privacy is a major concern. Federated learning and secure aggregation are two techniques that can be used to achieve privacy-preserving machine learning. Federated learning is a technique where the machine learning model is trained on data that is distributed across multiple devices or servers. In this technique, the model is sent to the devices or servers, and the devices or servers perform the training locally on their own data. The trained model updates are then sent back to a central server, where they are aggregated to create a new version of the model. The key advantage of federated learning is that the data remains on the devices or servers, which helps to protect the privacy of the data. Secure aggregation is a technique that can be used to protect the privacy of the model updates that are sent to the central server. In this technique, the updates are encrypted before they are sent to the central server. The central server then performs the aggregation operation on the encrypted updates, and the result is sent back to the devices or servers. The devices or servers can then decrypt the result to obtain the updated model. By combining federated learning and secure aggregation, it is possible to achieve privacy-preserving machine learning. This approach allows for the training of machine learning models on sensitive data while protecting the privacy of the data and the model updates.
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值