24、定理证明中的新技术：lazyCoP与AC简化

定理证明中的新技术：lazyCoP与AC简化

1. lazyCoP系统介绍

1.1 系统概述

lazyCoP是一个将基于懒参数调制的连接表证明器与懒神经引导相结合的新系统。该系统旨在提高定理证明的效率和性能。

1.2 训练过程

在早期迭代中，使用有限的训练示例来训练网络具有挑战性。如果有足够的参数，网络倾向于记忆训练集；如果参数不足，则会严重欠拟合。为了解决这个问题，可以采用余弦退火的方法，将高初始学习率以“热重启”的方式逐渐退火至0，并在一定数量的小批量后重复此过程。这种方法有两个好处：高学习率的正则化效果可以减少过拟合，同时网络训练速度也会加快。

1.3 集成与优化

网络训练完成后，将网络权重编译到lazyCoP中。前向传播在CUDA中重新实现，这样可以进行一些优化，例如已知数组大小、重用已分配的缓冲区以及对特定工作负载进行性能分析。此外，批量归一化层的前向操作可以与后续层融合，从而降低实现复杂度并提高性能。

1.4 实验结果

1.4.1 推理速率

开启学习引导后，推理速率没有明显下降，有时甚至会提高。例如，在处理TOP001 - 1（一个来自TPTP的非定理中型拓扑问题）时，无引导的lazyCoP在桌面硬件上10秒内每秒约可进行62,000次扩展；有引导时，系统每秒可评估约200个策略，推理速度超过每秒70,000次扩展。

1.4.2 引导效果

在M2k上对lazyCoP进行迭代训练，每次迭代使用之前所有迭代产生的证明进行训练。系统每个问题有10秒的实时处理时间和16GB内存。以下是迭代训练的