2025_NIPS_Forecasting in Offline Reinforcement Learning for Non-stationary Environments

文章核心总结与翻译

一、主要内容

本文针对离线强化学习（Offline RL）在非平稳环境中部署时的性能退化问题，提出了一种名为FORL（Forecasting in Non-stationary Offline RL） 的框架。核心背景是现有离线RL方法多假设环境平稳，而真实场景中常存在突发、时变的观测偏移（如传感器偏差、校准漂移等），导致智能体对状态感知失真。

核心解决思路

1. 问题定义：训练阶段仅使用平稳环境下的离线数据集，测试阶段环境因时间依赖的加性偏移呈现非平稳性，且偏移在episode内固定、episode间演化，智能体无法直接观测偏移真值。
2. 框架构成：
   • 零样本时间序列基础模型（如Lag-Llama）：基于历史偏移数据预测未来偏移，无需预设非平稳模式。
   • 条件扩散模型：利用离线平稳数据训练，基于episode内的动作-观测变化序列生成多模态候选状态。
   • 维度最近匹配（DCM）融合策略：将扩散模型的多模态候选状态与时间序列模型的单模态预测融合，得到最终状态估计。
3. 实验验证：在D4RL和OGBench基准上，结合5类真实世界时间序列数据模拟非平稳性，验证了FORL在导航、操纵等任务中显著优于现有基线方法，且具备无历史偏移依赖、策略无关、抗偏移缩放等鲁棒性。

<