2025_NIPS_Decision Stacks: Flexible Reinforcement Learning via Modular Generative Models

文章总结与翻译

一、主要内容

本文提出了一种名为Decision Stacks的模块化生成式框架，用于目标条件下的强化学习（RL），尤其适用于离线策略优化场景。核心思路是将目标条件策略智能体分解为三个独立的生成模块，分别负责：

1. 观测预测（Observation Module）：模拟未来观测序列的时间演化；
2. 奖励估计（Reward Module）：预测目标相关的奖励序列；
3. 动作生成（Action Module）：生成与观测、奖励匹配的动作序列。

该框架通过教师强制（teacher forcing） 实现模块的并行训练，支持灵活选择生成模型（如Transformer、扩散模型、混合架构等），以适配不同数据模态（离散/连续、视觉/数值）、维度特征和信息密度差异。

在实验验证方面，作者在MDP（完全可观测马尔可夫决策过程）和POMDP（部分可观测马尔可夫决策过程）环境、长 horizon 规划任务（如Maze2D）中进行了测试，结果显示：

• 在POMDP场景下，相比最接近的基线方法平均提升15.7%；
• 在MDP环境中，在6/9个任务上优于或媲美现有方法；
• 模块化设计支持跨任务组件复用，混合架构（如扩散模型+Transformer）可进一步优化性能。

二、创新点

1. 令牌级模块化分解：打破传统强化学习中按时间