22、《探索长证明：FLoP系统的原理、实验与优势》

《探索长证明：FLoP系统的原理、实验与优势》

在定理证明领域，寻找长证明一直是一个具有挑战性的问题。传统方法依赖于人类设计的启发式策略，而现在，基于强化学习的方法为解决这一问题提供了新的思路。本文将介绍一种名为FLoP的证明引导系统，它基于时间差分强化学习的变体，旨在解决指数搜索空间中寻找长证明的难题。

1. FLoP训练算法

FLoP的核心是其训练算法，以下是主要的学习循环：

Algorithm 1. FLoP: Main Learning Loop
Require: problems P, policy π, value v, train steps ∈N, threshold ∈[0..1], episodes
between updates: k ∈N
Ensure: trained policy π, trained value v, possibly proofs for some problems in P
1: curriculum ←dictionary such that for each p ∈P with proof Pr curriculum[p] =
len[Pr] −1
2: steps ←0
3: while steps < train steps do
4:
    for j in 1..k do
5:
        p ←random problem from problem set P {An episode corresponds to a prob-
lem}
6:
        initialize prover on problem p
7: