2025_NIPS_Predictive Coding Enhances Meta-RL To Achieve Interpretable Bayes-Optimal Belief Represent

文章核心总结

主要内容

该研究聚焦部分可观测环境（POMDPs）下的元强化学习（meta-RL），针对传统元强化学习虽能接近贝叶斯最优策略，但难以学习紧凑、可解释的贝叶斯最优信念状态的问题，提出将自监督预测编码模块融入元强化学习框架。通过在多种POMDP任务（如双臂老虎机、Tiger任务、连续控制任务等）中进行状态机仿真分析，验证了该框架能学习到更接近贝叶斯最优信念的可解释表示，在需要主动信息收集的复杂任务中表现更优，且显著提升泛化能力（零样本泛化和分布外迁移学习）。

创新点

1. 融合神经科学中的预测编码理论与深度强化学习的辅助预测目标，设计了含变分自编码器（VAE）的元强化学习框架，分离表示学习（预测编码）与策略学习（奖励信号）。
2. 采用严格的状态机仿真分析，而非仅依赖相关性解码，直接验证元学习表示与贝叶斯最优信念状态的计算等价性。
3. 系统验证了预测编码对表示学习的关键作用：消融实验表明，KL正则化有助于紧凑表示，而策略梯度对信念状态学习无额外增益。
4. 覆盖静态/动态、离散/连续等多种POMDP任务，首次系统性验证元强化学习表示与贝叶斯最优解的一致性。

---

翻译部分（Markdown格式）

Abstract

预测编码增强元强化学习，实现部分可观测性下可解释的贝叶斯最优信念表示
在部分可观测环境中，学习历史的紧凑表示对于规划和泛化至关重要。尽管元强化学习（meta