O2O:Online Decision Transformer(ODT)

最新推荐文章于 2025-09-10 11:07:02 发布
原创 最新推荐文章于 2025-09-10 11:07:02 发布 · 1.9k 阅读 · 19 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能

本文介绍了一种结合Transformer和RL的在线微调方法ODT，解决离线到在线强化学习性能下降问题。通过随机策略探索和策略熵优化，以及扩展HERbuffer，文章提出了新的学习目标和ReplayBuffer策略。

ICML 2022
paper

Introduction

利用Transformer对强化学习进行序列建模在离线强化学习中展露头角，但是无法避免的是这种方法受限于离线数据的质量，因此本文将其结合到online的在线微调过程，进而形成本文ODT。为了解决从offline到online过程中的performance drop,文章提出两点：1）采用随即策略扩大探索，并采用策略熵进一步优化探索 ，2）扩展Hindsight experience replaybuffer（HER）

Method

2.1 ODT

本文方法是基于Transformer + RL的offline方法Decision Transformer(DT)。
在这里插入图片描述

然而将其简单的从offline迁移到online会出现崩溃，改进的第一步便是提出一种广义的概率学习目标，即学习一种随即策略最大化其似然函数，例如该策略是具有对角协方差矩阵的多元高斯分布，用于模拟状态和rtg条件下的动作分布。其中rgt表示一条轨迹从t时刻到结束的累计奖励： g t = ∑ t ′ = t ∣ τ ∣ r t ′ , g_{t}=\sum_{t^{\prime}=t}^{|\tau|}r_{t^{\prime}}, gt​=∑t′=t∣τ∣​rt′​,
π θ ( a t ∣ s − K , t , g − K , t ) = N ( μ θ ( s − K , t , g − K , t ) , Σ θ ( s − K , t , g − K , t ) ) , ∀ t , \pi_{\theta}(a_{t}|\mathbf{s}_{-K,t},\mathbf{g}_{-K,t}) = \mathcal{N}(\mu_{\theta}(\mathbf{s}_{-K,t},\mathbf{g}_{-K,t}),\Sigma_{\theta}(\mathbf{s}_{-K,t},\mathbf{g}_{-K,t})),\forall t, πθ​(at​∣s−K,t​,g−K,t​)=N(μθ​(s−K,t​,g−K,t​),Σ

最低0.47元/天 解锁文章
Decision Transformer
EmoC的博客
02-29 457
emmm, 这里的Transformer 就和最近接触到的whisper一样，比起传统Transformer，自己还设计了针对特殊情况的tokens。比如whisper里对SOT，起始时间，语言种类等都指定了特殊tokens去做Decoder的输入和输出。DT这里的作为输入的Tokens由RL里喜闻乐见的历史数据：State，Action，Reward组成。输出只是简单的Actions(历史+即将需要的)
[论文阅读：姿态识别&Transformer] TransPose: Keypoint Localization via Transformer 2021 ICCV
qq_41845951的博客
09-14 1981
TransPose的模型，
Decision Transformer 前沿追踪——万物皆可归于序列预测
m0_55289267的博客
08-15 2827
DT（Decision Transformer）将 RL 看做一个序列建模问题（Sequence Modeling Problem），不同于传统 RL 方法的建模方法， DT 使用 Transformer 网络直接输出动作（Action）进行决策，从而避免了在 Offline RL 问题中显式的马尔可夫过程建模问题和数据 OOD（Out-of-distribution）导致的 Q-value 过估计问题。...
Online Decision Transformer
qq_43058281的博客
11-29 3126
摘要 最近的工作表明，离线强化学习 (RL) 可以表述为序列建模问题 (Chen et al., 2021; Janner et al., 2021)，并通过类似于大规模语言建模的方法来解决。 然而，RL 的任何实际实例化还涉及在线组件，其中在被动离线数据集上预训练的策略通过与环境的特定任务交互进行微调。 我们提出了在线决策Transformer(ODT)，这是一种基于序列建模的 RL 算法，将离线预训练与在线微调融合在一个统一的框架中。 我们的框架使用序列级熵正则化器与自回归建模目标相结合，以实现样本有
Transformer在强化学习中的应用：Decision Transformer详解与实战
最新发布
电脑管家
09-10 1280
Decision Transformer开创了强化学习的新范式：✨核心创新：将RL问题转化为序列建模问题🚀主要优势：稳定训练、高数据效率、强泛化能力🎮实际效果：用1%的数据达到传统方法80%的性能🔮未来方向：多模态、在线学习、大规模预训练也许我们不需要复杂的价值函数和策略梯度，只需要足够强大的序列模型！💭思考题：如果将Decision Transformer扩展到现实世界的机器人控制，最大的挑战是什么？
论文阅读 Offline RL —【DT】Decision Transformer: Reinforcement Learning via Sequence Modeling
hzlalb的博客
11-28 1718
我们引入了一个将强化学习(RL)抽象为序列建模问题的框架。这使我们能够利用Transformer架构的简单性和可扩展性，以及GPT-x和BERT等语言建模的相关进步。特别是，我们提出了Decision Transformer，一种将RL问题转换为条件序列建模的架构。与先前拟合价值函数或计算策略梯度的RL方法不同，Decision Transformer通过利用因果掩码的Transformer简单地输出最优动作。通过对期望回报(奖励)、过去状态和动作的自回归模型进行调节，我们的Decision Transfo
推荐一款强大的决策生成工具：Decision Transformer
gitblog_00097的博客
03-24 1203
推荐一款强大的决策生成工具：Decision Transformer 项目地址:https://gitcode.com/gh_mirrors/de/decision-transformer 在人工智能领域，自动化决策系统正在逐步成为企业优化运营、提升效率的关键工具。今天，我们要介绍的是一个开源项目——，它是一个基于Transformer架构的模型，用于学习和生成复杂的决策序列。这款项目旨在帮助开发...
【Decision Transformer】
qq_43058281的博客
03-30 1711
Decision Transformer
NeurIPS论文解读｜Decision Transformer: 通过序列建模解决离线强化学习问题
m0_55289267的博客
07-21 3019
今天为大家推荐一篇2021年被NeurIPS收录的一篇论文。 《Decision Transformer: reinforcement learning via sequence modeling》 推荐读者将本博客结合原论文食用。如有谬误偏颇烦请指出！
CrossFormer：A Versatile Vision Transformer Hinging On Cross-Scale Attention
qq_41327720的博客
04-22 3686
CrossFormer：一个具有跨尺度感知能力的Transformer
【论文阅读】Decision Transformer: Reinforcement Learning via Sequence Modeling
见见大魔王
08-04 2571
本文将强化学习抽象为一个序列建模问题，并利用 Transformer 架构进行建模，提出。该架构与之前的强化学习方法（值函数和策略梯度方法）均不同，Decision Transformer 只通过一个因果掩码 Transformer 来输出最有动作。通过将期望收益（奖励）、过去的状态和动作进行自回归模型建模，Decision Transformer 可以生成实现期望收益的未来动作。......
决策Transformer:通过序列建模的强化学习
zzh1464501547的博客
06-09 2967
决策Transformer:通过序列建模的强化学习 [Submitted on 2 Jun 2021] 关注人工智能学术前沿 回复 ：ts23 5秒免费获取论文pdf文档，及项目源码 摘要 我们引入了一个将强化学习(RL)抽象为序列建模问题的框架。这使我们能够利用Transformer体系结构的简单性和可伸缩性，以及诸如GPT-x和BERT等语言建模方面的相关经验。我们提出了决策Transformer，一个将RL问题转换为条件序列建模的体系结构。不同于之前的RL方法，它适合值函数或..
【强化学习论文】Decision Transformer：通过序列建模进行强化学习
qq_43058281的博客
03-30 5580
Article 文献题目：Decision Transformer: Reinforcement Learning via Sequence Modeling 文献时间：2021 摘要 我们引入了一个将强化学习（RL）抽象为序列建模问题的框架。 这使我们能够利用 Transformer 架构的简单性和可扩展性，以及 GPT-x 和 BERT 等语言建模的相关进步。 特别是，我们提出了决策转换器，一种将 RL 问题转换为条件序列建模的架构。 与先前的强化学习方法拟合值函数或计算策略梯度不同，Decision
论文精读——Decision Transformer: Reinforcement Learning via Sequence Modeling
xsddys的博客
04-17 1067
翻译我们提出了一个将强化学习（RL）抽象为序列建模问题sequence modeling problem的框架。这使我们能够利用 Transformer 架构的简洁性和可扩展性scalability，以及诸如 GPT-x 和 BERT 等在语言建模方面的相关进展。具体而言，我们提出了决策 Transformer（Decision Transformer），这是一种将强化学习问题转化为条件序列建模的架构。
[经典论文分享] Decision Transformer: Reinforcement Learning via Sequence Modeling
普通攻击往后拉的博客
01-21 5867
1 背景 无聊时看群聊发现在半年前2021年7月左右新出了一个方法，叫做decision transformer。一直以来都是对attention机制大家族保持着崇高的敬意，于是找到了这篇文章看了一下。看完之后感觉并不是很惊喜，也可能是期待太高。文章核心做的工作是给出了一种新的深度强化学习训练模式，使得能够更加‘端对端’地去用transformer大家族去拟合和训练。截止2022年1月22日，这篇文章在谷歌学术上有了50次引用（半年多）。 论文原文：Decision Transformer: Reinfor
论文理解【Offline RL】——【DT】Decision Transformer: Reinforcement Learning via Sequence Modeling
佚失的诗篇
12-23 5353
标题：Decision Transformer: Reinforcement Learning via Sequence Modeling；发表：NIPS 2021；领域：离线强化学习（offline/batch RL）—— Transformer Based / Hindsight 监督思想
【强化学习论文】小样本策略泛化的提示决策转换器
qq_43058281的博客
11-29 1578
小样本决策模型
推荐文章：决策Transformer - 重塑强化学习的序列建模新范式
gitblog_00571的博客
08-09 1147
推荐文章：决策Transformer - 重塑强化学习的序列建模新范式 项目地址:https://gitcode.com/gh_mirrors/de/decision-transformer 项目介绍 决策Transformer（Decision Transformer）是一个创新性的开源项目，它重新定义了强化学习的方式，将传统的策略网络替换为强大的序列模型。该项目由Lili Chen等人在Be...
关于多任务的decision transformer
qq_51003458的博客
02-27 414
修改好代码实现GPT在多个数据集的训练。
online decision transformer
11-25
Online Decision Transformer是一种新型的强化学习算法，它结合了Transformer和Actor-Critic方法，可以在连续的决策任务中实现高效的在线学习。该算法使用了一种新的决策转换机制，可以将历史决策和状态信息编码为...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值