2025_NIPS_Approximating Shapley Explanations in Reinforcement Learning

文章核心总结与翻译

一、主要内容

文章针对强化学习（RL）缺乏可解释性的问题，提出了可扩展的Shapley值近似方法FastSVERL，解决传统Shapley值计算成本随特征数量指数增长的痛点。该方法适配RL的独特挑战：时序依赖、离线数据学习、动态智能体行为适配，通过参数化模型分摊计算成本，实现对智能体行为、结果和预测的三大维度解释，在Mastermind、Hypercube等多个领域验证了准确性、效率和可扩展性。

二、创新点

1. 提出首个适配RL时序特性的参数化Shapley值近似框架，统一处理行为、结果、预测三类解释目标。
2. 设计双阶段近似策略：通过参数化模型分别近似特征函数和Shapley值求和，支持离线数据复用和动态政策更新。
3. 引入单样本特征函数近似方案，省去特征模型预训练成本，减半训练时间并消除误差传播。
4. 支持离线学习和持续学习场景，通过重要性采样校正分布偏差，可随智能体政策演变实时更新解释。

---

三、核心部分翻译（Markdown格式）

Abstract

强化学习在复杂决策环境中取得了显著成功，但其缺乏透明度的特点限制了其实际部署，尤其是在安全关键场景中。合作博弈论中的Shapley值为解释强化学习提供了一个原则性框架；然而，Shapley解释的计算成本是其应用的障碍。本文提出FastSVERL，一种通过近似Shapley值来解释强化学习的可扩展方法。Fa