2025_NIPS_Belief Projection-Based Reinforcement Learning for Environments with Delayed Feedback

文章核心总结与翻译

一、主要内容

本文针对延迟反馈环境下强化学习的状态空间爆炸问题，提出一种名为信念投影Q学习（BPQL） 的无模型演员-评论员算法。

1. 问题背景：深度强化学习在决策、机器人控制等领域应用广泛，但现实环境中的反馈延迟（如通信延迟、硬件延迟）会导致环境退化为部分可观测马尔可夫决策过程（POMDP）。传统方法通过构建“最后观测状态+延迟时间步内动作”的增广状态来转化为标准MDP，但增广状态空间会随延迟步长d指数增长，引发维度灾难；基于模型的方法则依赖精确的状态估计，在长延迟随机环境中易受模型误差影响。

2. 核心思路：BPQL避免直接处理增广状态，转而通过信念投影将增广状态的价值函数映射到原始状态空间维度的“贝塔价值（beta value）”，使评论员网络的输入规模保持与原始状态空间一致，从根本上解决状态空间爆炸问题。

3. 算法设计：

   • 定义信念投影算子，将增广状态价值分解为原始状态贝塔价值的期望与残差项；
   • 基于软贝尔曼算子设计延迟环境下的目标函数，通过最小化加权平方残差训练贝塔Q函数；
   • 采用演员-评论员框架，通过KL散度最小化更新策略，无需显式计算信念矩阵。

4. 实验验证：在MuJoCo连续控制基准任务（HalfCheet