2025_NIPS_Explainably Safe Reinforcement Learning

文章核心总结与翻译

一、主要内容

该研究聚焦于解决强化学习（RL）在安全关键系统中应用的核心痛点——安全性保障与可解释性缺失的矛盾。现有基于“屏蔽（Shielding）”的安全强化学习方法虽能通过形式化方法提供安全保证，但屏蔽器的决策过程高度不透明；而决策树等可解释模型直接应用于屏蔽器时，又会因屏蔽器的非确定性导致模型规模过大，无法实际使用。

为此，研究提出一种分层决策树驱动的可解释安全强化学习框架，核心流程如下：

1. 设计阶段：基于马尔可夫决策过程（MDP）的世界模型，通过概率模型检测计算每个状态-动作对的安全风险，将状态划分为安全（Safe）、临界（Critical）、危险（Dangerous）、不安全（Unsafe）四类，并构建Level-1决策树，解释状态的风险分类依据。
2. 运行阶段：
   • Level-2决策树：针对Level-1的叶子节点（同类风险状态），解释哪些动作被允许、哪些被禁止及原因；
   • Level-3执行树（ET）：针对不安全动作，通过轨迹可视化展示其导致安全违规的必然结果（即使后续采取最优安全动作）。
3. 实验验证：在Fro