2025_NIPS_Offline RL with Discrete Proxy Representations for Generalizability in POMDPs

一、文章主要内容总结

该研究聚焦于离线强化学习（Offline RL）在部分可观测马尔可夫决策过程（POMDPs）中的泛化性问题。现实场景中，离线RL模型通常基于完全可观测数据训练，但部署时会面临观测被遮挡、干扰等部分可观测情况，且训练阶段无法预知观测缺失的具体形式，导致模型性能大幅下降。

为解决这一挑战，作者提出了ORDER（Offline RL with DiscrEte pRoxy representations）框架，核心思路是通过离散代理表征关联完全观测训练数据与部分观测部署场景，具体包含三阶段训练流程：

1. 离散状态表征学习：利用向量量化自编码器（VQ-VAE），从完全观测数据中学习状态的离散表征，将原始状态映射为离散编码集合；
2. 决策模块训练：基于离散表征数据集，采用任意主流离线RL算法（本文使用IQL）训练决策头，生成可基于离散表征决策的“先知策略”；
3. 代理离散表征训练：通过随机掩码模拟动态缺失、因子削减两种部分观测场景，训练代理编码器，使其能从部分观测轨迹中推断出与离散状态表征对齐的代理表征，最终形成可处理部分观测的“代理策略”。

实验在D4RL基准的运动和迷宫任务中开展，结果表明，ORDER在不同观测缺失比例下均显著优于填充零、循环架构等基线方法，离散表征相比连续表征和原始状态能更好地维持与真实状态的对齐，提升泛化性能。

二、文章创新点

1. 离散代理表征设计