25、Trainify：用于安全深度强化学习的CEGAR驱动训练与验证框架

Trainify：用于安全深度强化学习的CEGAR驱动训练与验证框架

1. 引言

深度强化学习（DRL）在开发复杂控制任务的智能系统方面展现出强大实力，例如自动驾驶。然而，在安全关键领域部署DRL系统前，可验证的安全性和鲁棒性保障至关重要。目前，为DRL系统提供可证明的安全保障，人们在调整现有形式化方法和设计新方法上付出了巨大努力。

但形式化验证DRL系统仍是极具挑战性的问题，主要源于DRL系统的三个特征：
- 状态空间通常是连续且无限的。
- 行为是非线性的，由高阶系统动力学决定。
- 控制器（通常是深度神经网络）由于黑盒开发几乎无法解释。

此外，大多数现有的形式化验证方法是在训练结束后应用，这种“先训练后验证”的方式存在两个局限性：
- 由于抽象或高估，验证结果可能不确定，导致验证中的误报。
- 事后发现错误增加了训练和部署的时间和资金成本，且迭代训练和验证不一定能提高系统可靠性。

为解决这些挑战，本文提出了一种新颖的“验证在循环中”的训练框架Trainify，用于训练具有可验证保障的安全可靠DRL系统。

2. 深度强化学习（DRL）

DRL是一种利用深度神经网络根据评估反馈学习最优控制策略的技术。在DRL系统中，智能体与环境交互，在每个时间步$t$记录其状态$s_t$，将其输入深度神经网络计算动作$a_t$，并根据系统动力学转移到下一个状态$s_{t + 1}$。智能体根据奖励函数获得标量奖励，一些算法会估计网络确定的动作与相同状态下预期动作之间的距离，然后根据该距离更新网络参数以最大化累积奖励。

2.1 运行示例：山地车系统