2025_NIPS_Seeing is not Believing: Robust Reinforcement Learning against Spurious Correlation

文章核心总结

本文聚焦强化学习（RL）中针对虚假相关性的鲁棒性问题，提出了鲁棒状态混淆马尔可夫决策过程（RSC-MDPs） 框架，通过因果视角建模未观测混杂因素的影响，同时设计了实证算法RSC-SAC。该方法在自动驾驶和机器人操作等8个真实任务中，显著优于传统鲁棒RL基线，既避免了虚假相关性导致的灾难性失败，又在原始环境中保持了良好性能。

---

主要创新点

1. 新鲁棒性框架：提出RSC-MDPs，首次从因果角度建模状态空间中未观测混杂因素引发的结构化不确定性，突破传统鲁棒RL（如RMDPs）仅处理非结构化噪声的局限。
2. 理论优势：证明了RSC-MDPs存在最优策略，且在语义攻击等强结构化扰动场景下，性能显著优于传统RMDPs。
3. 实证算法RSC-SAC：通过扰动混杂因素分布、学习结构化因果模型生成反事实数据，无需显式建模混杂因素，高效学习鲁棒最优策略。
4. 基准数据集：构建8个含虚假相关性的真实任务基准（自动驾驶+机器人操作），填补该领域数据集空白。

---

翻译部分（Markdown格式）

Abstract

Seeing is not Believing: Robust Reinforcement Learning against Sp