Decision Transformer 前沿追踪——万物皆可归于序列预测

最新推荐文章于 2025-04-17 14:52:47 发布

OpenDILab开源决策智能平台

最新推荐文章于 2025-04-17 14:52:47 发布

阅读量2.7k

点赞数 1

分类专栏： OpenDILab 文章标签： transformer 深度学习人工智能

本文链接：https://blog.youkuaiyun.com/m0_55289267/article/details/126354071

版权

本文探讨了如何将强化学习问题转化为序列预测问题，重点介绍了Decision Transformer（DT），它使用Transformer网络直接输出动作，避免了马尔科夫过程建模和数据分布外推的问题。DT在离线强化学习任务上表现出色，有望推动决策大模型的发展。此外，文中还列举了DT的若干优势和相关研究方向。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

引言

如果想要将强化学习技术应用在某个决策领域，最重要的就是将原始问题转换为一个合理的 MDP （马尔科夫决策过程）问题，而一旦问题环境本身有一些不那么友好的”特性“（比如部分可观测，非平稳过程等等），常规强化学习方法的效果便可能大打折扣。另一方面，随着近些年来数据驱动范式的发展，大数据和预训练大模型在计算机视觉（Computer Vision）和自然语言处理（Natural Language Processing）领域大放异彩，比如 CLIP，DALL·E 和 GPT-3 等工作都取得了惊人的效果，序列预测技术便是其中的核心模块之一。但对于决策智能，尤其是强化学习（Reinforcement Learning），由于缺少类似 CV 和 NLP 中的大数据集和适合的预训练任务，决策大模型迟迟没有进展。

在这样的背景下，为了推进决策大模型的发展，提高相关技术的实际落地价值，许多研究者开始关注 Offline RL/Batch RL 这一子领域。具体来说，Offline RL是一种只通过离线数据集（Offline dataset）训练策略（Policy），在训练过程中不与环境交互的强化学习任务。那对于这样的任务，是否可以借鉴 CV 和 NLP 领域的一些研究成果，比如序列预测相关技术呢？

于是乎，在2021年，以 Decision Transformer[3]/Trajectory Transformer[1-2]为代表的一系列工作出现了，试图将决策问题归于序列预测