6、COOL - MC：强化学习与模型检查的综合工具

COOL - MC：强化学习与模型检查的综合工具

1. 引言

深度强化学习（RL）在动态系统智能体构建方面引发了巨大变革，其应用广泛涉及能源、交通和国防等关键领域。RL智能体通过采取行动并感知环境反馈信号（通常是奖励和观测）来学习接近最优的策略。然而，学习到的策略并不能保证避免不安全行为，因为奖励往往难以编码复杂的安全要求，而且很难判断某个时间点的训练是否充分。

为解决这些问题，模型检查等验证方法被用于评估RL的安全性。但目前缺乏能紧密集成最先进深度RL策略精确模型检查的成熟工具。主要原因包括OpenAI环境中获得的策略可能与用于模型检查的相关形式化模型不兼容，以及验证深度RL策略需要根据神经网络的架构和规模采用不同的算法、数据结构和抽象方法。

COOL - MC是一个开源工具，它集成了OpenAI gym和概率模型检查器Storm，旨在让用户在训练RL策略的任何阶段都能对其进行验证。其输入包括两个环境模型：一个OpenAI gym兼容环境用于训练RL策略，以及一个用PRISM语言指定的马尔可夫决策过程（MDP）用于结合形式化规范（如概率计算树逻辑PCTL公式）验证策略。如果没有提供OpenAI gym环境，COOL - MC会提供一个包装器将MDP转换为OpenAI gym环境。训练可以使用OpenAI gym中的任何RL智能体，训练后的策略可通过Storm使用回调函数进行形式验证。此外，该工具支持模型和策略的抽象，使用基于特征的表示方法，允许用户重新映射特征值并定义特征域的抽象。

2. COOL - MC的核心功能和架构

• 训练 ：在RL训练过程中，智能体从当前状态开始选择一个动作，