2025_NIPS_Prior-Guided Diffusion Planning for Offline Reinforcement Learning

文章核心总结与翻译

一、主要内容

文章聚焦离线强化学习（Offline RL）中的扩散规划方法，针对现有引导采样策略存在的次优动作生成、分布偏移、推理成本过高等问题，提出了一种名为Prior Guidance（PG）的新型引导采样框架。PG通过用可学习的、行为正则化的先验分布替代行为克隆扩散模型的标准高斯先验，在无需对扩散模型本身进行昂贵奖励优化的情况下，直接生成高价值轨迹。文章在D4RL基准套件的长 horizon 任务中进行了实证验证，结果表明PG在计算效率和性能上均优于现有扩散基方法，尤其在Kitchen、AntMaze、Maze2D等长 horizon 任务中表现突出。

二、创新点

1. 提出可学习先验分布：替换传统扩散模型的标准高斯先验，通过行为正则化目标优化，平衡高价值轨迹生成与分布偏移风险。
2. 避免复杂反向传播：在 latent 空间训练价值函数，无需通过整个去噪过程进行反向传播，降低计算开销。
3. 高效推理机制：推理时仅生成单条轨迹，无需采样多个候选轨迹进行选择，大幅提升推理效率。
4. 可解析的行为正则化：利用高斯分布特性，实现行为正则化的闭式计算，提升训练稳定性。

---

三、核心部分翻译（Markdown格式）

Abstract（摘要）

扩散模型近年来在离线强化学习中备受关注，因其能够从静态数据集中有效学习高性能、可泛化的策略。基于扩散的规划器通过迭代去噪生成高