2025_NIPS_Efficient Diffusion Policies For Offline Reinforcement Learning

一、文章主要内容总结

该研究聚焦离线强化学习（Offline RL）中的策略参数化问题，针对现有扩散模型策略（如Diffusion-QL）存在的计算效率低下、与极大似然类RL算法不兼容的核心缺陷，提出了高效扩散策略（EDP） 。

1. 核心背景：离线强化学习需从离线数据集学习最优策略，但传统策略（如对角高斯分布）难以拟合复杂多模态数据分布；Diffusion-QL引入扩散模型提升了性能，却因依赖长马尔可夫链采样导致训练耗时（达5天），且无法适配需 tractable 对数似然的策略梯度算法（如IQL、CRR）。
2. EDP核心设计：
   • 动作近似（Action Approximation）：利用去噪扩散概率模型（DDPM）的重参数化特性，从数据集中的受损动作直接构造近似干净动作，避免完整马尔可夫链采样，单次训练仅需一次网络前向/反向传播。
   • 高效采样器集成：采用DPM-Solver（基于ODE的采样器），将采样步骤从1000步缩减至15步，进一步提升训练与推理效率。
   • 似然兼容扩展：通过DDPM的证据下界（ELBO）和高斯分布近似，使EDP适配极大似然类RL算法，突破Diffusion-QL的算法适配限制。
3. 实验结果：
   • 效率提升：在D4RL的gym-locomotion任务中，训练时间从5天缩短至5小时，实现25倍加速。
   • 性能突破：与TD3、CRR、IQL等算法结合，在D4RL