25、逻辑约束强化学习（LCRL）：认证策略合成

逻辑约束强化学习（LCRL）：认证策略合成

在强化学习（RL）领域，逻辑约束强化学习（LCRL）作为一种新兴的策略合成架构，为解决复杂环境下的任务提供了新的思路。本文将深入介绍LCRL的特点、工作原理、安装方法、输入输出接口以及实验评估。

LCRL的特点

• 可扩展性 ：LCRL借助线性时态逻辑（LTL）引导的探索方法，能够高效处理状态和动作空间非常大的马尔可夫决策过程（MDP）。此外，其采用的LDBA构造算法的简洁性也是实现可扩展性的一个重要因素。
• 连续状态/动作MDP的适用性 ：LCRL是首个针对连续状态/动作MDP中LTL规范的RL合成方法，填补了该领域的空白。
• 对超参数调整的鲁棒性 ：实验表明，LCRL的结果对超参数的调整不太敏感，即使超参数没有经过精细调整，也不会显著影响其性能。

LCRL的工作原理

LCRL基于MDP和LDBA（线性确定性Büchi自动机）进行工作。MDP是一个离散时间随机控制过程，定义为元组$M = (S, A, s_0, P)$，其中$S$是连续状态集合，$A$是连续动作集合，$s_0$是初始状态，$P$是条件转移核。LDBA则是根据用户定义的LTL规范生成的。

在LCRL模块内部，MDP和LDBA的状态会进行同步，生成一个动态的乘积MDP。这个乘积MDP在原MDP的状态空间基础上增加了LDBA状态的额外维度，用于跟踪各回合中读取的标签序列，从而评估相应时态属性的（部分）满足情况。更重要的是，这种同步将非马尔可夫的LTL规