2025_NIPS_Grammars of Formal Uncertainty: When to Trust LLMs in Automated Reasoning Tasks

文章核心总结与创新点

主要内容

本文聚焦LLM在自动推理任务中生成形式化规范的可靠性问题，核心解决LLM的概率性输出与形式化验证的确定性要求之间的矛盾。通过评估5个前沿LLM在4个形式推理数据集上的表现，发现基于SMT的自动形式化对逻辑类任务（如ProofWriter）准确率提升34.8%，但对事实类任务（如FOLIO）准确率下降44.5%。现有不确定性量化（UQ）技术难以识别这些错误，因此提出基于概率上下文无关文法（PCFG）的框架，构建25种不确定性指标并形成分类体系，通过轻量级信号融合实现选择性验证，将错误率降低14%-100%。

创新点

1. 系统量化了LLM驱动形式化验证的失效模式，明确SMT-based自动形式化的任务依赖性影响。
2. 提出PCFG框架建模LLM生成的SMT-LIB程序，搭建神经模型与形式化验证的桥梁，实现数学严谨的不确定性量化。
3. 构建了包含认知-知识、认知-过程、递归复杂度、能力受限四类的精细化不确定性分类体系，超越传统二分法。
4. 提出模型无关的多信号融合方法，适配任务依赖的不确定性特征，显著提升验证可靠性。

---

译文（Markdown格式）

Abstract

大型语言模型（LLMs）在通过生成形式化规范普及自动推理方面展现出巨大潜力。然而，存在一个根本性矛盾：LLMs是概率性的，而形式化验证需要确定性保证。本文通过全面研究LLM生成的形式化产