Offline RL : QDT: Leveraging Dynamic Programming for Conditional Sequence Modelling in Offline RL

QDT:结合CQL与DT的离线强化学习策略，提升稳定性能
原创 已于 2024-05-20 16:18:20 修改 · 1.2k 阅读 · 28 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #算法 #人工智能

于 2024-05-17 15:56:15 首次发布

ICML 2023
paper
CQL + DT

Intro

sequential model在离线强化学习中广泛应用，尤其是基于transformer 架构的方法。本文指出这种方法虽然对轨迹数据强大的特征表达能力，但是缺乏对轨迹的拼接能力。
在这里插入图片描述

而传统基于动态规划的RL方法（Ｑ学习）不存在该问题，但是存在价值函数函数逼近误差造成的学习过程不稳定。因此，本文提出将两种类型的算法结合 提出QDT: DT + CQL.利用动态规划结果重新标记训练数据中的回报，然后用重新标记的数据训练DT，在离线数据上性能实现提升。

Method

QDT使用CQL训练Q价值函数。得到的Q将用于状态价值函数估计 V ^ ( s t ) = E a ∼ π ( a ∣ s t ) [ Q ^ ( s t , a ) ] \hat{V}(s_t)=\mathbb{E}_{a\sim\pi(a|s_t)}[\hat{Q}(s_t,a)]

最低0.47元/天 解锁文章
强化学习_Paper_ICLR2024_When Should We Prefer DECISION TRANSFORMERS for offline-RL
RL小站
07-20 827
摘要：DT在离线强化学习中的适用性分析表明，DT在稀疏奖励、低质量数据、长时程任务和人类演示场景下表现优异，尤其对非马尔可夫数据鲁棒。然而，在数据量极少、高随机性或密集奖励场景下，保守Q学习（CQL）或过滤行为克隆（Filtered-BC）更为合适。研究还发现，DT需要更多训练数据，但扩展数据量能显著提升性能（如在ATARI游戏中5倍数据带来2.5倍得分提升）。工程实践中，应优先扩展数据而非模型规模，并根据任务特性选择算法。
离线强化学习(Offline RL)系列1：离线强化学习原理入门
热门推荐
深度强化学习(DeepRL)探索博客
03-28 1万+
离线强化学习（Offline RL）作为深度强化学习的子领域，其不需要与模拟环境进行交互就可以直接从数据中学习一套策略来完成相关任务，被认为是强化学习落地的重要技术之一。本文详细的阐述了强化学习到离线强化学习的发展过程，并就一些经典的问题进行了解释和说明。
强化学习系列一：Q-Learning及Deep Q-Learning
Swift's Blog
10-13 468
Q-Learning epsilon greedy strategy freecodecamp 时序差分离线控制算法Q-Learning Deep Q-Learning Deep Reinforcement Learning: Guide to Deep Q-Learning 强化学习——从Q-Learning到DQN到底发生了什么？ Deep Q Learning之小白 价值函数的近似表示与Deep Q-Learning ...
A Survey on Transformers in Reinforcement Learning翻译
nopSled
02-17 1002
强化学习（RL）为序列决策提供了数学形式定义。通过使用RL，我们可以自动获取智能行为。尽管RL已经为基于学习的控制提供了一个通用框架，但深度神经网络的引入，作为一种具有高容量的函数近似方式，在广泛的领域中实现了重大进步。尽管近年来，深度强化学习（DRL）的泛化性取得了巨大的发展，但样本效率问题阻止了其在现实世界应用中的广泛使用。为了解决这个问题，一个有效的机制是将归纳偏置引入DRL框架。DRL中的一个重要归纳偏差是函数近似器结构的选择，例如为DRL agent使用神经网络进行参数化。
机器学习（二十七）——Q-learning, 动态规划
antkillerfarm的专栏
03-19 9087
http://antkillerfarm.github.io/ Q-learning Q-learning是强化学习中很重要的算法，也是最早被引入DL领域的强化学习算法，对它的研究催生了Deep Q-learning Networks。 下面用一个例子来讲述Q-learning算法。 上图中有5个房间，编号为0～4，将户外定义为编号5，房间之间通过门相连，则房间的联通关系可抽象为下图：...
强化学习决策生成-以 Q-learning 为例
xiao_sir的博客
01-26 540
强化学习决策生成-以 Q-learning 为例
论文理解【Offline RL】——【DT】Decision Transformer: Reinforcement Learning via Sequence Modeling
佚失的诗篇
12-23 5354
标题：Decision Transformer: Reinforcement Learning via Sequence Modeling；发表：NIPS 2021；领域：离线强化学习（offline/batch RL）—— Transformer Based / Hindsight 监督思想
Offline/Batch RL简介
佚失的诗篇
01-14 3488
简单介绍 Offline/Batch RL 的问题范式、常见方法和 D4RL 这个Benchmark
Offline RL : Reinformer: Max-Return Sequence Modeling for offline RL
wdnmdwsmsa的博客
05-20 790
ICML 2024。
Offline RL : StARformer: Transformer With State-Action-Reward Representations for Robot Learning
wdnmdwsmsa的博客
05-24 1207
额外添加一个自注意力捕捉关键信息，并作为goal加入到Transformer序列模型中学习策略。
Offline RL: Uncertainty-Based Offline Reinforcement Learning with Diversified Q-Ensemble
wdnmdwsmsa的博客
02-27 2349
本文首先提出SAC-N算法，发现简单的增加Q函数便可以提高算法sample- efficiency，但是过多的Q导致计算效率较低，且Q网络出现冗余，因此进一步提出了EDAC。而offline RL中数据集是固定的，只需要考虑离线数据，为了防止乐观估计导致Q过高，因此采用Q值估计的置信下界（lower-confidence bound，LCB），例如在Q-ensemble均值上减标准差，这样可以避免高风险的状态动作对。因此，EDAC希望减少N。而(b)中，由于Q梯度的多样性，避免该情况的出现。
O2O: Cal-QL: Calibrated Offline RL Pre-Training for Efficient Online Fine-Tuning
wdnmdwsmsa的博客
05-06 1034
NIPS 2023。
论文精读——Decision Transformer: Reinforcement Learning via Sequence Modeling
xsddys的博客
04-17 1068
翻译我们提出了一个将强化学习（RL）抽象为序列建模问题sequence modeling problem的框架。这使我们能够利用 Transformer 架构的简洁性和可扩展性scalability，以及诸如 GPT-x 和 BERT 等在语言建模方面的相关进展。具体而言，我们提出了决策 Transformer（Decision Transformer），这是一种将强化学习问题转化为条件序列建模的架构。
【模式识别与机器学习基础（18）】关联规则深入浅出教程
最新发布
hiliang521的博客
12-02 335
【模式识别与机器学习基础（18）】关联规则深入浅出教程
【机器学习】23-25 决策树 & 树集成
weixin_54010404的博客
12-02 652
本文系统性地介绍了决策树模型及其相关算法。首先阐述了决策树的基本结构与学习过程，重点讨论了如何通过最大化信息增益选择最优划分特征，并详细解释了熵作为纯度衡量指标的计算方法。文章涵盖了分类树与回归树的构建逻辑，包括离散特征处理（独热编码）和连续特征阈值选择。 进一步，文章深入探讨了决策树集成方法，重点分析了随机森林算法通过放回抽样和特征随机选择来增强模型鲁棒性的机制。特别介绍了XGBoost算法的核心优势：自适应样本权重调整、内置正则化和高效实现。最后，文章对比了决策树集成与神经网络的应用场景。
【模式识别与机器学习（15）】主成分分析
hiliang521的博客
12-02 421
【模式识别与机器学习（15）】主成分分析
【模式识别与机器学习（16）】聚类分析【1】：基础概念与常见方法
hiliang521的博客
12-02 701
【模式识别与机器学习（16）】聚类分析【1】：基础概念与常见方法
【模式识别与机器学习（13）】神经网络与深度学习（二）：卷积神经网络、正则化、优化算法、循环神经网络
hiliang521的博客
12-02 481
【模式识别与机器学习（13）】神经网络与深度学习（二）：卷积神经网络、正则化、优化算法、循环神经网络
【模式识别与机器学习（11）】数据预处理（第三部分）：高级技术与质量保证
hiliang521的博客
12-02 488
【模式识别与机器学习（11）】数据预处理（第三部分）：高级技术与质量保证
apt-offline：在无网络环境下管理Debian软件包
4. offline：凸显了apt-offline的核心功能——离线操作。 5. apt-get：作为Debian系统中广泛使用的包管理工具，apt-get 与apt-offline在功能上有相似之处，但后者增加了离线管理的能力。 6. PackagemanagerPython：...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值