Conservative Q-Learning(CQL)保守Q学习(三)-CQL在DDPG下的代码实现和实际应用效果

最新推荐文章于 2025-04-25 17:35:33 发布
置顶 最新推荐文章于 2025-04-25 17:35:33 发布
阅读量1k 收藏 4
点赞数 4
分类专栏： Machine-Learning Reinforcement-Learning Python Basic and Code 文章标签： 学习 机器学习 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lvoutongyi/article/details/129896561
版权
作者实现并比较了CQL增强的DDPG和纯DDPG算法在BipedalWalker-v3环境中的性能。通过在线DDPG得到模型权重后，进行大规模采样生成样本用于离线DDPG和CQL-DDPG的训练。实验结果显示，CQL+DDPG在稳定性上略有优势，但在奖励回报上与DDPG差异不显著，且方差相差悬殊。作者提出数据集大小和采样批次可能影响结果，并邀请读者参与验证和反馈。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

笔者对CQL进行了实现和原文章代码部分的修改，放在了下面的链接里，欢迎各位对代码提出点评和修正。
代码链接在：https://github.com/outongyiLv/CQLwithDDPG
以下对该代码进行一定的描述方便大家理解和运行。
1.首先笔者采用OnlineDDPG算法进行了训练，并得到了训练结果，模型参数存储在目录下名为DDPG_weight的文件中。
2.笔者根据OnlineDDPG得到的weight进行了大规模采样( s , a , r , s ′ s,a,r,s' s,a,r,s′)对，存储样本量为100000对样本(用户可自行设置样本量大小进行采样，采样请运行Sampling_data.py文件并修改迭代轮次即可)
3.笔者使用该采样数据进行了离线DDPG和离线CQLDDPG的编写，主体模型分别在OffLineDDPG.py与OffLineCQLDDPG.py文件中。
4.用户可以直接运行OFFLineT_CQL.py与OFFLineT_QL.py两个文件来分别对应的加入了CQL的DDPG和未加入CQL的DDPG算法，得到结果并画图。
下面笔者展示一下笔者运行后的效果,均在batch=256下，跑了100*2000=20W个epoch运行得到，横坐标每1等于2000epoch。结果图如下展示：可以看出，加入了DDPG后的CQL相对较为稳定一些，但是笔者在此问题"BipedalWalker-v3"中并未发现它的明显优势，只能说在Reward的结果上，两者差距并不是很大，并且还存在着偶然性。可能是由于10W的数据集采用Batch=256来采样效果可能稍差一些并且存在一定的偶然性。欢迎各位去实现并回馈笔者。
在这里笔者跑出的两者maxreward分别是:
CQL+DDPG:22.1141
DDPG:25.9134
但是两者方差差距极大：
CQL+DDPG:251.3043
DDPG:2929.3041

请添加图片描述

在 d4rl 的 Hopper 数据集上应用离线强化学习算法 CQL 附完整代码
01-21 1015
在 d4rl 的 Hopper 数据集上应用离线强化学习算法 CQL 附完整代码
CQL:保守的Q学习代码
04-12
CQL 离线强化学习的保守Q学习代码（ ） 在此存储库中，我们提供了上面链接的论文中描述的CQL算法代码。 我们在两个子目录中提供代码： atari包含用于Atari实验的代码，而d4rl包含用于D4RL实验的代码。 由于D4RL中数据集的变化，我们希望新D4RL数据集的CQL性能会有所变化，因此我们将在本自述文件中的此处很快为CQL提供一个具有新性能编号的表。 我们将继续在这里更新数字。 如果您发现此存储库对您的研究有用，请引用： @article{kumar2020conservative, author = {Aviral Kumar and Aurick Zhou and George Tucker and Sergey Levine}, title = {Conservative Q-Learning for Offline Reinf
Conservative Q-Learning(CQL)保守Q学习(一)-CQL1(下界Q值估计)
lvoutongyi的博客
03-25 2008
本文介绍非常有用的C-Q Learning算法，有助于解决Q值低估的问题，本文讲介绍2020年NIPS上的文章 是一篇兼具理论和实际应用的好文章。由于CQL原文内容符号比较混乱，并且在公式推导和符号定义上存在一些小错误。笔者进行了仔细阅读和分析，在此做出一些自己语言的总结理解和重述，给予和笔者一样的读者和研究者进行参考和帮助，希望可以和大家一起讨论和学习。、
Conservative Q-Learning for Offline Reinforcement Learning
qq_34988557的博客
01-28 1998
Conservative Q-Learning for Offline Reinforcement Learning 要解决的问题 离线强化学习中数据集和学习策略之间的分布偏移导致值高估问题，对大型静态数据集学习效率低问题。 由于π被训练为最大化q值，它可能会偏向具有错误的高q值的out- distribution (OOD)动作。在标准的RL中，这种错误可以通过在环境中尝试一个动作并观察它的实际值来纠正。然而，由于无法与环境交互，在离线RL中处理OOD动作的q值具有挑战性。 中心思想: Conser
neo4j中cql练习
baidu_15113429的博客
03-08 700
Neo4j中不存在表的概念，只有两类：节点(Node)和关联(Relation)，可以简单理解为图里面的点和边。 在数据查询中，节点一般用小括号()，关联用中括号[]。 当然也隐含路径的概念，是用节点和关联表示的，如：(a)-[r]->(b)，表示一条从节点a经关联r到节点b的路径。创建节点：create (n:people{name:'刘森',age:'18',sex:'男'}) ret...
代码
cql_yao10k的博客
11-17 341
import java.util.*; import java.text.*; class DVDSet {         String[] names = new String[20];    int[] states = new int[20];                                        String[] dates = new Strin
离线强化学习——CQL（Conservative Q-Learning）算法
最新发布
Rhett_Butler0922的博客
04-25 878
强化学习（RL）是一种机器学习范式，旨在让**智能体（Agent）通过与环境（Environment）**交互，学习如何采取行动以最大化长期累积奖励（Reward）。试错学习：智能体通过尝试不同行动，观察结果，逐步优化策略。延迟奖励：奖励可能不是立即获得，而是基于长期表现。动态交互：智能体与环境持续交互，行动会影响环境状态。例如，训练一个智能体玩电子游戏（如Atari），智能体观察游戏屏幕（状态），选择动作（如“左移”或“跳跃”），环境返回新屏幕和奖励（如得分）。
离线强化学习(Offline RL)系列3: (算法篇) CQL(Conservative Q-Learning)算法详解与实现
深度强化学习(DeepRL)探索博客
04-10 6882
论文的主要思想是在QQ值基础上增加一个regularizer，学习一个保守的Q函数，作者从理论上证明了CQL可以产生一个当前策略的真实值下界，并且是可以进行策略评估和策略提升的过程。从代码的角度上来说，本文的regularizer只需要20行代码即可实现，大幅提升了实验结果。同时作者也全部opensource了代码，非常推荐研究。
RL Latest Tech离线强化学习：保守Q学习 (CQL) 算法
09-23
Conservative Q-Learning (CQL) 是由Sergey Levine及其团队于2020年提出的一种针对离线强化学习的算法。CQL旨在解决离线强化学习中的两个主要问题：分布偏移（Distributional Shift） 和 过度乐观的值函数估计...
论文阅读--Conservative Q-Learning for Offline Reinforcement Learning
hzlalb的博客
04-09 1692
在强化学习( RL )中有效地利用以前收集的大量数据集是大规模实际应用的关键挑战。离线RL算法承诺从先前收集的静态数据集中学习有效的策略，而无需进一步的交互。然而，在实际应用中，离线RL是一个主要的挑战，标准的离线RL方法可能会由于数据集和学习到的策略之间的分布偏移而导致的过高估计，特别是在复杂和多模态数据分布上的训练时。在本文中，我们提出了保守Q学习( CQL )，旨在通过学习一个保守的Q函数来解决这些限制，使得一个策略在这个Q函数下的期望值低于其真实值。
离线强化学习（IQL/CQL）
Xixoqw的博客
04-06 4693
ORL具有广泛的应用前景，尤其是在那些难以进行在线交互或存在安全限制的场景中。例如，在医疗领域，ORL可以利用历史病例数据来学习最佳治疗方案，而不需要对患者进行随机试验；在金融领域，ORL可以利用历史交易数据来学习最优投资策略，而不需要实时参与市场；在推荐系统领域，ORL可以利用历史用户行为数据来学习最优推荐策略，而不需要实时收集用户反馈。尽管ORL已经取得了一些进展，但仍然存在一些待解决的问题和挑战。如何解决这些挑战将是未来的研究方向。
Neo4j(CQL)学习记录-02（Cypher Query Language）
qq_61398236的博客
05-13 481
图数据库Neo4j，从头开始记录如何在SpringBoot使用Neo4j & 简单增删改查 & 复杂查询初步&传入动态参数操作数据库节点，关系等
推荐开源项目：CQL - 高效的强化学习算法实现
gitblog_01128的博客
10-10 633
推荐开源项目：CQL - 高效的强化学习算法实现 CQL Conservative Q Learning on top of SAC 项目地址: https://gitcode.com/gh_mirrors/cql2/CQL ...
强化学习模型对比（强化学习3）
weixin_49379140的博客
01-04 2254
可以看到，正常的 Q-learning 是对于所有的 action 去最大的 Q，而这里是对于从生成模型 G 中采样得到若干个行动，然后再做扰动，由此得到的一系列 action 中找一个 Q 值最大的。这样，我们评估（s, a）时，我们就可以把critic对 s 的评估结果就是 s 状态后续能获得的折扣期望，也就是我们的基线。注意哈：优势函数中，前一半是实际数据中的折扣期望，后一半是估计的折扣期望（critic心中认为s应该得到的分数，即critic对s的期望奖励），a'是在新状态s'下的最优动作。
【RL Latest Tech】离线强化学习：保守Q学习 (CQL) 算法
追风赶月莫停留，平芜尽处是春山
09-24 3719
Conservative Q-Learning (CQL) 是由Sergey Levine及其团队于2020年提出的一种针对离线强化学习的算法。CQL旨在解决离线强化学习中的两个主要问题：分布偏移（Distributional Shift） 和 过度乐观的值函数估计（Overestimation of Q-Values）。CQL通过对Q值的保守约束，确保学习到的策略更为稳健，避免过度依赖于离线数据中的稀有样本或未充分探索的区域。
【OfflineRL】CQL DDPG D4RL
weixin_41369892的博客
01-16 127
【代码】【OfflineRL】CQL DDPG D4RL。
Flink + 强化学习 搭建实时推荐系统
http://www.54tianzhisheng.cn/
11-03 1152
点击上方 "zhisheng"关注,星标或置顶一起成长Flink 从入门到精通系列文章如今的推荐系统，对于实时性的要求越来越高，实时推荐的流程大致可以概括为这样： 推...
8. Actor-Critic、DDPG、A3C
weixin_30790841的博客
03-11 677
我们知道，学术中很多时候一般是先有了牛逼算法A，再有了牛逼算法B。但A，B算法一般都有缺点，于是有一天有人将两者整合，结合了两者优点，避免了两者缺点，皆大欢喜，喜大普奔。但对于AC算法来说其架构可以追溯到三、四十年前。 最早由Witten在1977年提出了类似AC算法的方法，然后Barto, Sutton和Anderson等大牛在1983年左右引入了actor-critic架构。但由于AC算法的研...
在线学习(Online learning)与离线学习（Offline learning）
热门推荐
weixin_42267615的博客
12-23 3万+
在线学习与离线学习的简要介绍 ...
保守Qlearning
01-05
### Conservative Q-Learning in Reinforcement Learning Algorithms Conservative Q-Learning (CQL) is an offline reinforcement learning algorithm designed to address the challenges associated with learning from a fixed dataset without further interaction with the environment[^1]. Unlike traditional online RL methods which require continuous exploration, CQL operates on pre-collected datasets. #### Key Concepts of Conservative Q-Learning In conservative Q-learning, two main objectives are pursued simultaneously: - **Maximizing Expected Return**: The primary goal remains optimizing policy performance by maximizing cumulative rewards. - **Minimizing Overestimation Bias**: A critical issue in off-policy evaluation arises when learned policies tend to overestimate action values not well supported by data. This leads to poor generalization outside observed states and actions. To mitigate this problem, CQL introduces a regularization term into the standard Bellman backup process. Specifically, instead of simply selecting maximum predicted Q-values during updates, CQL averages predictions across all possible actions while penalizing high-value estimates that lack sufficient support within the training set. This approach ensures more robustness against distributional shift between train/test environments and prevents catastrophic forgetting issues common in purely exploratory strategies. ```python import numpy as np def cql_loss(q_values, next_q_values, alpha=0.5): """ Compute Conservative Q-Learning loss Args: q_values: Current state-action value function outputs next_q_values: Next state-action value function outputs alpha: Regularization coefficient Returns: Loss scalar tensor """ # Standard TD error component td_error = ... # Log-sum-exp penalty for encouraging conservatism logsumexp_penalty = alpha * ( torch.logsumexp(next_q_values / alpha, dim=-1).mean() - next_q_values.mean() ) return td_error + logsumexp_penalty ``` By incorporating such penalties, CQL effectively discourages overly optimistic assessments about unseen scenarios, leading to safer extrapolations beyond available samples.
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值