2025_NIPS_Scaling Offline RL via Efficient and Expressive Shortcut Models

文章核心总结

本文提出可扩展离线强化学习（SORL） 算法，通过引入“捷径模型”（shortcut models）解决传统生成模型（扩散、流模型）在离线RL中训练低效、推理耗时的问题。核心优势是单阶段训练兼顾高效性与表达力，推理时支持序列缩放（增加推理步数）和并行缩放（最优N采样），在40个离线RL任务中优于10个基线模型，且能通过更多推理计算弥补较少的训练计算。

主要创新点

1. 捷径模型融合：将捷径模型引入离线RL，通过自一致性约束，使政策在任意推理预算下生成高质量动作，无需复杂两阶段训练。
2. 单阶段训练框架：统一训练优化、数据正则化和推理步骤，避免蒸馏带来的误差累积，训练效率更高。
3. 双推理缩放机制：序列缩放（增加推理步数）和并行缩放（用Q函数筛选最优动作），支持动态权衡计算成本与性能。
4. 理论保障：证明SORL的训练目标能通过Wasserstein距离正则化政策与离线数据分布，避免分布偏移。

---

翻译部分（Markdown格式）

Abstract

扩散模型和流模型已成为强大的生成方法，能够建模多样化和多模态行为。然而，由于其噪声采样过程的迭代特性，将这些模型应用于离线强化学习（RL）仍然具有挑战性，导致政策优化困难。本文提出可扩展离线强化学习（SO