Offline RL:OPAL: Offline Primitive Discovery for Accelerating Offline Reinforcement Learning

最新推荐文章于 2025-12-01 19:45:15 发布
原创 最新推荐文章于 2025-12-01 19:45:15 发布 · 1k 阅读 · 19 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能

本文介绍了一种名为OPAL的新算法，通过三个阶段处理离线数据中的行为扩展。首先，使用无奖励数据学习基础策略；接着，结合带奖励数据优化下游任务策略；最后，整合策略预测动作。算法通过隐空间一致性保证避免过拟合，适用于复杂行为建模。

ICLR 2021
paper

Intro

本文的出发点是高效捕捉离线数据中种类繁多的行为。一种方法便是利用隐空间 z z z进行状态表征然后在其基础上扩展出新的行为 π ( a ∣ s , z ) \pi(a|s,z) π(a∣s,z)用于下游任务。

Method

在这里插入图片描述

OPAL算法分为三各阶段
1.第一阶段利用无奖励标签数据，通过最大化对数似然函数学习Primitive policy π θ ( a ∣ s , z ) \pi_\theta(a|s,z) πθ​(a∣s,z)
min ⁡ θ , ϕ , ω J ( θ , ϕ , ω ) = E ^ τ ∼ D , z ∼ q ϕ ( z ∣ τ ) [ − ∑ t = 0 c − 1 log ⁡ π θ ( a t ∣ s t , z ) ] s.t.  E ^ τ ∼ D [ D K L ( q ϕ ( z ∣ τ ) ∣ ∣ ρ ω ( z ∣ s 0 ) ) ] ≤ ϵ K L \begin{aligned}\min_{\theta,\phi,\omega}J(\theta,\phi,\omega)&=\hat{\mathbb{E}}_{\tau\sim\mathcal{D},z\sim q_\phi(z|\tau)}\left[-\sum_{t=0}^{c-1}\log\pi_\theta(a_t|s_t,z)\right]\\\text{s.t. }&\hat{\mathbb{E}}_{\tau\sim\mathcal{D}}[\mathrm{D}_\mathrm{KL}(q_\phi(z|\tau)||\rho_\omega(z|s_0))]\leq\epsilon_\mathrm{KL}\end{aligned} θ,ϕ,ωmin​J(θ,ϕ,ω)s.t. ​=E^τ∼D,z∼qϕ​(z∣τ)​[−t=0∑c−1​logπθ​

最低0.47元/天 解锁文章
ICLR 2021 | 近期必读强化学习精选论文
AI_Conf的博客
01-23 1395
强化学习（Reinforcement learning）是机器学习中的一个领域，强调如何基于环境而行动，以取得最大化的预期利益。其灵感来源于心理学中的行为主义理论，即有机体如何在环境给予的奖励或惩罚的刺激下，逐步形成对刺激的预期，产生能获得最大利益的习惯性行为。 1.论文名称：Off-Dynamics Reinforcement Learning: Training for Transfer with Domain Classifiers 论文链接：https://www.aminer.cn/pub/5e.
Offline RL: Uncertainty-Based Offline Reinforcement Learning with Diversified Q-Ensemble
wdnmdwsmsa的博客
02-27 2347
本文首先提出SAC-N算法，发现简单的增加Q函数便可以提高算法sample- efficiency，但是过多的Q导致计算效率较低，且Q网络出现冗余，因此进一步提出了EDAC。而offline RL中数据集是固定的，只需要考虑离线数据，为了防止乐观估计导致Q过高，因此采用Q值估计的置信下界（lower-confidence bound，LCB），例如在Q-ensemble均值上减标准差，这样可以避免高风险的状态动作对。因此，EDAC希望减少N。而(b)中，由于Q梯度的多样性，避免该情况的出现。
什么是offline RL离线强化学习以及online RL在线强化学习
Time_Memory_cici的博客
03-12 876
总之，使用已有数据集，不与环境交互就是offline RL，这里的已有数据集可以是off-policy data、expert demos，也可以是prior runs of RL产生的数据。作者：Ashvin Nair , Abhishek Gupta , Murtaza Dalal, Sergey Levine。智能体（agent）与环境（environment）进行交互，不断收集新数据，并基于新的数据进行学习和策略更新。训练时不能通过探索来收集新数据，策略更新只能基于已有的数据。
【重磅整理】提前看287篇ICLR-2021 "深度强化学习"领域论文得分汇总列表
深度强化学习实验室：一个“开源开放、共享共进”的强化学习学术组织。
11-16 3289
深度强化学习实验室来源：ICLR2021编辑：DeepRL[1]. What Matters for On-Policy Deep Actor-Critic Methods? A Lar...
Offline RL ：Goal-Conditioned Predictive Coding for Offline Reinforcement Learning
wdnmdwsmsa的博客
05-20 606
NIPS 2023。
论文理解【Offline RL】——【DT】Decision Transformer: Reinforcement Learning via Sequence Modeling
佚失的诗篇
12-23 5350
标题：Decision Transformer: Reinforcement Learning via Sequence Modeling；发表：NIPS 2021；领域：离线强化学习（offline/batch RL）—— Transformer Based / Hindsight 监督思想
Offline RL : Semi-Supervised Offline Reinforcement Learning with Action-Free Trajectories
wdnmdwsmsa的博客
03-22 786
ICML 2023。
Offline RL ：Critic-Guided Decision Transformer for Offline Reinforcement Learning
wdnmdwsmsa的博客
05-21 836
AAAI 2023利用价值函数解决序列模型拼接能力的离线算法。
Offline RL : QDT: Leveraging Dynamic Programming for Conditional Sequence Modelling in Offline RL
wdnmdwsmsa的博客
05-17 1244
ICML 2023 paper CQL + DTsequential model在离线强化学习中广泛应用，尤其是基于transformer 架构的方法。本文指出这种方法虽然对轨迹数据强大的特征表达能力，但是缺乏对轨迹的拼接能力。 而传统基于动态规划的RL方法（Ｑ学习）不存在该问题，但是存在价值函数函数逼近误差造成的学习过程不稳定。因此，本文提出将两种类型的算法结合 提出QDT: DT + CQL.利用动态规划结果重新标记训练数据中的回报，然后用重新标记的数据训练DT，在离线数据上性能实现提升。QDT使用CQ
Offline RL：RAMBO-RL: Robust Adversarial Model-Based Offline Reinforcement Learning
wdnmdwsmsa的博客
05-31 784
NIPS 2022。
Offline RL ：Model-Based Offline Reinforcement Learning with Pessimism-Modulated Dynamics Belief
wdnmdwsmsa的博客
05-30 966
因此，本文提出一种新方法，通过维持一个动态的信念分布，并通过对信念进行偏向悲观的采样来评估/优化策略。以往基于模型的方法，通过对模型预测的不确定性作为reward的惩罚项，一定程度导致保守行为估计。解决每个子问题都会对策略进行显著的更新，但在收敛之前，可能需要不断构造子问题，然后准确地解决每个子问会导致不必要的计算。中的元素则是相互独立且同分布，天然的将不确定性引入进每一步的预测中。这里的想法是将优化的策略约束在参考策略的邻居中，以便在这样一个小的策略区域内充分评估内部问题。在每一轮中，主玩家收到奖励者。
Offline RL : Uncertainty Weighted Actor-Critic for Offline Reinforcement Learning
wdnmdwsmsa的博客
06-06 1031
ICML 2021利用Q的方差作为权重估计，降低OOD数据的影响程度。
向量嵌入：RAG系统背后的语义引擎
uncle_ll的博客
11-29 1237
向量嵌入技术将高维语义信息压缩为低维向量，使相似概念在向量空间中聚集。作为RAG系统的核心，嵌入质量直接影响语义检索效果。从静态词嵌入到动态上下文嵌入，技术不断演进，解决了多义词等难题。现代嵌入模型基于Transformer架构，通过对比学习优化检索性能。选型需考虑MTEB排名、语言支持等维度，并结合业务测试。未来趋势包括多模态融合、知识图谱增强和轻量化部署。嵌入技术已成为NLP领域的关键支柱，其优化对提升RAG系统性能至关重要。
【推荐系统】深度学习训练框架（五）：pyspark分布式TorchDistributor主从读取OSS文件认证机制
人工智能领域博客
11-28 1830
摘要： 本文详细解释了Spark Driver端与Worker端在OSS认证上的核心区别。Driver端通过Spark配置自动认证，而Worker端（独立Python进程）需显式提供认证信息。认证来源优先级为：1)Driver传递参数，2)环境变量，3)IAM角色。文章分析了架构差异导致的不同认证方式，并推荐从Driver传递认证信息的解决方案。当前实现已采用该方案，通过Spark配置或环境变量获取认证后传递给Worker进程，确保PyArrow能正确访问OSS数据。
07_Spring AI 干货笔记之提示词
在科技的浪潮中，我们寻找着创新的火种，在代码的海洋里，我们编织着智慧的网。腾飞开源，就是这样一个由技术精英汇聚而成的博客平台，我们致力于分享在Java、Python、IoT和人工智能等领域的最新研究成果和实战经验。 在腾飞开源的博客上，你会看到紧跟技术前
11-30 1140
本文详细介绍了Spring AI中的提示词核心概念与API设计。提示词作为引导AI模型生成特定输出的关键输入，其结构从简单字符串演进为包含多角色消息的复杂形式。Spring AI通过Prompt和Message接口提供结构化提示词管理，支持系统、用户、助手等角色分配。PromptTemplate类实现动态内容渲染，并支持自定义模板引擎。文章还涵盖提示词工程的最佳实践与令牌机制，为开发者提供完整的提示词设计解决方案。
RAG信息检索全解析：从Embedding到Reranker的超详细教程1
Trb201013的博客
11-27 1458
文章介绍了RAG系统中信息检索环节的核心技术，包括文档段落嵌入和用户查询嵌入，将文本转换为向量表示；详细解释了相似度检索的多种方法，如Top-K检索、MMR策略和Reranker二次排序技术；强调了合理切分策略对嵌入效果的重要性，以及查询扩展技术对提高检索准确度的作用。指出RAG的本质是"开卷考试"，检索质量直接影响最终生成效果。
【LLM】DeepSeekMath-V2模型
发现问题，并解决问题，批判性思维
11-29 844
研究问题：这篇文章要解决的问题是如何在大型语言模型（LLMs）中进行自我验证的数学推理。具体来说，现有的基于最终答案奖励的强化学习方法在数学推理中存在根本局限性，因为正确答案并不能保证推理的正确性，特别是在定理证明任务中。 研究难点：该问题的研究难点包括：如何在不依赖最终答案的情况下验证推理的正确性；如何在生成和验证之间建立有效的迭代改进循环；如何在没有已知解决方案的开放问题上扩展测试时计算。 相关工作：该问题的研究相关工作有：OpenAI的推理模型在定量推理竞赛中取得了显著进展；DeepMind的Deep
LMM-Det：让大型多模态模型在目标检测中脱颖而出
AI浩
12-01 739
大型多模态模型因其在多模态理解、推理和上下文学习等方面的卓越能力，在人工智能研究和工业界引起了广泛的关注和兴趣。虽然 LMM 在图像描述、视觉问答和视觉定位等多模态任务上已展现出有前景的结果，但其目标检测能力与专业检测器相比仍存在显著差距。为弥补这一差距，我们摒弃了将重型检测器与 LMM 集成的传统方法，提出了 LMM-Det，这是一种简单而有效的方法，它利用大型多模态模型进行纯目标检测，而无需依赖专门的检测模块。
昇腾平台 vLLM 部署与性能优化实战：高吞吐推理落地指南
最新发布
二哈喇子！
12-01 3608
昇腾平台vLLM部署与性能优化实战摘要
apt-offline：在无网络环境下管理Debian软件包
4. offline：凸显了apt-offline的核心功能——离线操作。 5. apt-get：作为Debian系统中广泛使用的包管理工具，apt-get 与apt-offline在功能上有相似之处，但后者增加了离线管理的能力。 6. PackagemanagerPython：...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值