DefInt:A Default-interventionist Framework for Efficient Reasoning with Hybrid Large Language Models

本文是LLM系列文章，针对《DefInt: A Default-interventionist Framework for Efficient Reasoning with
Hybrid Large Language Models》的翻译。

摘要

大型语言模型（LLM）在广泛的任务中表现出了令人印象深刻的涌现能力，但在处理复杂的推理问题时仍然面临挑战。以前的工作，如思想链（CoT）和思想树（ToT），主要侧重于提高准确性，但忽略了快速增加的token成本，这对于具有巨大解决方案空间的开放式现实世界任务来说可能特别有问题。受人类认知的双重过程理论的启发，我们提出了一个默认干预主义框架（DefInt）来释放混合LLM的协同潜力。默认情况下，DefInt使用较小规模的语言模型来生成低成本的推理思想，这类似于System 1产生的快速直觉。如果直觉被认为是低置信度的，DefInt将调用按比例放大的语言模型的反射推理作为系统2的干预，它可以覆盖默认思想并纠正推理过程。在五个具有代表性的推理任务上的实验表明，DefInt始终实现了最先进的推理准确性和解决方案的多样性。更重要的是，与第二个准确的基线相比，它大大降低了49%～79%的token成本。具体而言，开放式任务的token成本平均降低了75%。带有所有提示的代码库将在发布时公开。

1 引言

2 背景

3 DefInt：有效推理的默认干预主义框架

4 理论计算成本分析