27、定理证明中最大熵强化学习的应用与探索

定理证明中最大熵强化学习的应用与探索

1. 背景知识

在定理证明领域，为了提高证明效率和准确性，研究者们采用了多种技术。下面我们来详细了解一些关键的背景知识。

1.1 引导定理证明器的神经特征提取

基于学习的自动定理证明（ATP）系统长期以来一直在探索数学对象的合适表征。主要有两种方式：直接处理文本和依赖手动设计特征。而图神经网络（GNN）提供了一种新的选择，它能保留数学对象的句法结构，还支持端到端训练。不过，用GNN超越基于手动特征提取的学习具有挑战性，往往需要高水平的技术工程。例如，文献中提到的GNN在引导leanCoP连接演算方面比梯度提升树有显著改进，我们将其称为graphCoP。

1.2 引导leanCoP定理证明器的系统

leanCoP是一阶逻辑的紧凑定理证明器，采用连接表搜索。证明搜索从起始子句开始，通过扩展步骤和缩减步骤构建连接表，并使用迭代加深确保完整性。

近期，一系列引导leanCoP连接演算的学习系统被开发出来，其中rlCoP、plCoP和graphCoP使用大致相同的强化学习设置。它们都用蒙特卡罗树搜索（MCTS）寻找证明，并像AlphaZero一样训练价值和策略函数。rlCoP和plCoP使用手动开发的特征和梯度提升树进行学习，而graphCoP采用GNN进行端到端特征提取和学习。

plCoP系统通过参数调制步骤扩展了leanCoP，能更有效地处理等式谓词。例如，给定目标G和输入子句{X ≠ Y, B}，在满足一定条件下，参数调制步骤会将G替换为{G[Y]pσ, Bσ}，且重写允许双向进行。

1.3 强化学习（RL）

强化学