2025_NIPS_Physics-informed Value Learner for Offline Goal-Conditioned Reinforcement Learning

文章核心总结与翻译

一、主要内容

本文聚焦离线目标条件强化学习（Offline GCRL）的核心挑战——有限状态-动作空间覆盖的数据学习与长时任务泛化问题，提出一种基于物理信息的Eikonal偏微分方程（PDE）正则化损失函数，用于优化目标条件价值函数（GCVF）估计。

1. 核心背景：Offline GCRL在自主导航、运动控制等领域极具应用价值，但受限于离线数据覆盖不足、价值函数估计不准、策略泛化能力弱等问题，传统方法难以在复杂环境（如大型迷宫、轨迹拼接任务）中稳定生效。
2. 方法设计：
   • 提出Eikonal正则化器，基于Eikonal PDE的几何特性，为价值函数注入类距离的“成本-目标”结构，而非单纯稳定训练的梯度惩罚；
   • 将该正则化器集成到现有SOTA算法HIQL（Hierarchical Implicit Q-Learning）中，形成Eik-HIQL算法，保持与时序差分（TD）类价值学习方法的广泛兼容性；
   • 采用常数速度剖面(S(s)=1)，通过自动微分计算价值函数梯度范数，确保数值稳定性与1-Lipschitz连续性。
3. 实验验证：在OGbench基准的31个任务（含pointmaze、antmaze、humanoidmaze等导航/运动任务，以及antsoccer等交互任务）中，Eik-HIQL在大型迷宫、轨迹拼接等复杂场景下显著超越HIQL、QRL、CRL等基线方法，7个任务性能提升超100%；