为什么Q learning，DQN，DPG，DDPG不需要importance sampling?

最新推荐文章于 2025-04-02 00:09:13 发布
最新推荐文章于 2025-04-02 00:09:13 发布
阅读量2.1k 收藏 4
点赞数 1
分类专栏： 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/linyijiong/article/details/95512912
版权
本文解释了为何Q learning、DQN和DDPG等off policy强化学习算法在更新时不使用importance sampling。通过直观理解、数学分析和图形展示，阐述这些算法中target policy的选择过程，指出由于直接采用greedy策略，因此不需要importance sampling进行采样误差校正。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

最近有同学问我为什么Qlearning，DQN，DDPG等off policy的算法不需要importance sampling。

我看了一下网上的资料很少，仅有的资料虽然解释得还算清晰，但是基本上也是只有懂的人才看得懂，不懂的人还是得消化很久。从ADEPT（Analogy / Diagram / Example / Plain / Technical Definition）的学习规律出发，本人尝试一下给出直观理解、数学方法、图形表达、简单例子和文字解释。

 

首先为什么需要off policy，off policy是什么，大家可以看一下我之前的回答，这里就直入正题。

强化学习1：彻底分清On-Policy&Off-Policy

强化学习2：Q-learning与Saras？流程图逐步解释

 

我们先看一下Q learning的update公式：

很明显可以知道，这里之所以是off policy，我们选得next action不是通过behavior policy来选择的，而是直接从target policy 选择的（即greedy/argmax）。那么这里需要imporce sampling的ratio来矫正差异吗࿱

最低0.47元/天 解锁文章
图解DQN，DDQN，DDPG网络
Echooo的博客
04-03 1万+
图解DQN，DDQN，DDPG网络1. DQN1.1 网络结构1.2 产生experience的过程1.3 Q网络的更新流程2. DDQN2.1 网络结构2.2 产生experience的过程2.3 Q网络的更新流程3. DDPG3.1 网络结构3.2 产生experience的过程3.3 Actor网络的更新流程3.4 Critic网络的更新流程 1. DQN 深度Q网络(Deep Q Network)适用于动作离散的强化学习任务 1.1 网络结构 深度Q网络有两个网络结构，如下所示： Q网络输入是状态
主流强化学习算法论文综述：DQN、DDPG、TRPO、A3C、PPO、SAC、TD3
te_sun的博客
04-03 2万+
强化学习自从15年开始DQN的成功应用得到了雨后春笋般成长，获得学术界极高的关注。在此之间，强化学习主要以model based模型为主，其特点为问题针对性强，需要大量的人为假设，且对于不同问题需要特定的模型套入。而现在开始model free的模型有极大的通用性，一个算法吃遍天下所有任务，因此也提高了之间的可比较性，也促成了学术界的井喷。主流的两个思路为Q-learning和Policy gra...
【强化学习】中Q-learning,DQN等off-policy算法不需要重要性采样的原因
开贰锤
12-07 4816
由于Q-learning采用的是off-policy，如下图所示 但是为什么不需要重要性采样。其实从上图算法中可以看到，动作状态值函数是采用1-step更新的，每一步更新的动作状态值函数的R都是执行本次A得到的，而我们更新的动作状态值函数就是本次执行的动作A的Q(S,A)Q(S,A)Q(S,A)。就算A不是通过greedygreedygreedy策略选择的（是通过ϵ−greedy\epsilon...
为什么DQN不需要important sampling？——强化学习
千羽的计算机视觉与机器人
10-11 1297
分析这个问题要从重要性采样和target policy的本质出发，本文分为以下三步来介绍DQN为什么不需要重要性采样：重要性采样的目的、target policy和behavior policy的含义、DQN为什么不需要重要性采样。
人工智能之强化学习【Q-Learning】
最新发布
WindWant
04-02 1081
Q学习作为强化学习的经典算法，具有理论保证强、实现简单等优点，但其局限性（如维度灾难）促使了DQN、双Q学习等改进方法的发展。未来，Q学习可能结合多智能体系统、元学习等技术，在更复杂场景中发挥作用。
为什么Q-learning不用重要性采样（importance sampling）？
hehedadaq的博客
01-11 3818
为什么Q-learning不用重要性采样（importance sampling）？ 文章目录为什么Q-learning不用重要性采样（importance sampling）？前言：参考链接：理解过程：1step-Q-learning的定义公式：2step-Q-learning： 前言： 前几天在整重要性采样，然后提到的一个模糊的概念就是: 在异策略(off-policy)方法中，行动策略μ\muμ即用来产生样本的策略，所产生的轨迹概率分布相当于重要性采样中的q[z]q[z]q[z]，用来评估和改进的策
[强化学习]一文带你理清从Q-Learning到DDPG(Deep Deterministic Policy Gradient)算法思想
zhangxiaolil的博客
11-05 3091
[强化学习]一文带你理清从Q-Learning到DDPG(Deep Deterministic Policy Gradient)算法思想 强化学习的五大要素： State、Action、Reward、Discount factor （r）、P 转移概率。 Q-Learning思想过程 Q-learning是强化学习中基于价值的算法，是一种off-policy、免模型策略。 Q-Learning就是在环境的某一个时刻的状态(state)下，采取动作集中的一个动作a能够获得收益的期望，环境会根据agent的动
深度强化学习笔记01【Policy-Gradient/Actor-Critic/DQN/PPO】
zpz84761695的博客
08-15 409
本系列文为作者本人在学习过程中笔记，为本人复盘学习用，主观色彩浓厚，且仅适合对DRL有一定了解的人阅读！
综述向：强化学习经典方法梳理
sinat_34604992的博客
11-30 3563
强化学习相关研究整理，持续更新
多智能体连续行为空间问题求解——MADDPG
qq_38638132的博客
05-25 7169
目录1. 问题出现：连续行为空间出现2. DDPG 算法2.1 DDPG 算法原理2.2 DDPG 算法实现代码 MADDPG 是一种针对多智能体、连续行为空间设计的算法。MADDPG 的前身是DDPG，DDPG 算法旨在解决连续性行为空间的强化学习问题，而 MADDPG 是在 DDPG 的基础上做了改进，使其能够适用于多智能体之间的合作任务学习。本文先从 DDPG 引入，接着再介绍如何在 DDPG 算法上进行修改使其变成 MADDPG 算法。 1. 问题出现：连续行为空间出现 Q-Learning 算
DDPG 和DQN的区别是什么
再来一下！
06-05 1442
特性DQNDDPG适用动作空间离散连续算法类型值函数（Q值）策略梯度（确定性策略）+ Q值网络结构单个Q网络 + 目标网络策略网络 + Q网络 + 策略目标网络 + Q目标网络动作选择ε-greedy策略确定性策略 + 探索噪声训练方法经验回放池经验回放池算法目标最大化Q值最大化累积回报DQN适用于动作空间有限且离散的问题，通过学习Q值函数来选择最优动作。DDPG适用于动作空间连续的问题，通过学习策略网络和Q值网络来选择最优动作。
一文读懂Q-Learning，DQN，DDPG的连接关系
苑小量的博客
03-24 6933
最近几个月一直在看强化学习，把强化学习导论（Reinforcement Learning：An Introduction）跟着b站视频看了一遍，发现书上的大部分是理论，实践代码并不多，所以可以看看知乎David Silver强化学习公开课中文讲解及实践，看完之后呢就会发现，强化学习在沿着解决连续动作和深度卷积神经网络逼近值函数来解决问题。下面先写出目前所学到的知识，后期会继续更新。 1.Q-Learning Q-Learning是强化学习算法中极其重要的算法，Q即为Q（s,a）就是在某一时刻的 s 状态下，
dpg learning 和q_【强化学习】DPG, DQN与DDPG
weixin_28902341的博客
12-24 1214
(由于最近研究方向从CV转到了RL，得从头学RL的知识。所以这段时间我会整理一些RL中非常经典的论文，在给我自己整理思路的同时，也分享给大家。)写在前面今天主要介绍三篇RL中非常重要的论文：DPG (Deterministic Policy Gradient)为什么要将这三篇放在一起介绍呢？因为DDPG其实是在DPG之上，加入了DQN的idea，而形成的文章(从名字也能看出来，在DPG前面加上DQ...
深度强化学习——从DQN到DDPG
热门推荐
zhi元元元
05-10 2万+
引言深度强化学习最近取得了很多进展，并在机器学习领域得到了很多的关注。传统的强化学习局限于动作空间和样本空间都很小，且一般是离散的情境下。然而比较复杂的、更加接近实际情况的任务则往往有着很大的状态空间和连续的动作空间。实现端到端的控制也是要求能处理高维的，如图像、声音等的数据输入。前些年开始兴起的深度学习，刚好可以应对高维的输入，如果能将两者结合，那么将使智能体同时拥有深度学习的理解能力和强化学习...
重要性采样（Importance Sampling）
天才男孩的博客
04-09 1万+
重要性采样（Importance Sampling） 日后补充，统计学相关知识
说清楚重要性采样
CS笔记本
05-12 1601
转自 http://blog.sina.com.cn/s/blog_4e5740460100cw5b.html
David Silver强化学习课程笔记（五）
微念的博客
10-15 7381
第五课：模型无关的控制         本文主要介绍模型无关的控制，包括同策略方法（On-Policy，也译作“在策略”）和异策略（Off-Policy，也译作“离策略”）方法，由于是模型无关，因此本文聊的是学习（learning），而不是规划（planning）。        1.简介         在第一课中我们说到了预测和控制的区别，这里就不再赘述，下面我们主要聊一下同策略方法和异...
重要性采样
万德1010的博客
05-30 4098
有下面一个问题：一个工厂里面，工资有三档，低，中，高，分别为100块，200块，300块。其中拿低档工资的工人占60%，拿中档工资的工人占30%，拿高档工资的工人10%人。求该工厂工人工资的期望值。一个解决方法是蒙特卡罗估计。即随机的对该厂工人构造采样，求均值，结果随着采样数量增加会收敛该式0.6N∗100+0.3N∗200+0.1N∗300N\frac{0.6N*100+0.3N*200+0.1N
DDPG算法流程
weixin_43897187的博客
11-13 7788
背景 本文介绍DDPG具体是如何进行采样，然后如何使用采集的样本进行训练，以及更新网络的。这意味更加注重DDPG在实践中的一整套流程。 预备知识 因为这篇文章是站在一个全局的角度，讲解DDPG的具体使用。不会涉及到更新的具体细节，更新的公式。因此，要想了解具体的更新细节（比如，损失函数）可以查阅其它资料。 DDPG使用细节 DDPG网络结构由现实actor网络、目标actor网络、现实Q网络、目标Q网络这四个网络组成。 DDPG具体使用流程： 步骤1：先初始化现实Actor和现实Critic。然后把现实Ac
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值