2025_NIPS_Composite Flow Matching for Reinforcement Learning with Shifted-Dynamics Data

文章核心总结

该研究针对离线数据与在线环境存在动力学偏移（shifted dynamics）的强化学习问题，提出了COMPFLOW方法。核心是通过复合流匹配（Composite Flow Matching）结合最优传输理论，解决传统方法依赖KL散度或互信息导致的定义模糊问题，同时引入高动力学间隙区域主动探索策略，最终在多个基准任务和野生动物保护场景中实现优于现有基线的性能。

---

主要创新点

1. 复合流结构设计：将在线流模型构建于离线流输出分布之上，而非直接从高斯先验初始化，复用离线数据的结构知识，提升在线动力学建模的泛化能力。
2. 动力学间隙的原则性估计：基于Wasserstein距离量化离线与在线转换动力学的差异，避免KL散度或互信息在支持集不同时的定义问题。
3. 高间隙区域主动探索：提出乐观探索策略，优先探索动力学间隙大的区域，弥补回放缓冲区中此类样本的不足，理论证明可缩小与最优策略的性能差距。

---

翻译部分（Markdown格式）

Abstract

结合预收集的离线数据可显著提升强化学习（RL）的样本效率，但这种优势常因离线数据与在线环境的转换动力学差异而受限。现有方法通常通过惩罚或过滤高动力学间隙区域的离线转换来解决该问题，然而其动力学间隙估计依赖KL散度或互信息，在源动力学与目标动力学支持集不同时可能定义模糊。为克服这些局限