LIMO: Less is More for Reasoning

本文是LLM系列文章，针对《LIMO: Less is More for Reasoning》的翻译。

摘要

我们提出了一个基本发现，挑战了我们对大型语言模型中复杂推理如何出现的理解。虽然传统观点认为，复杂的推理任务需要大量的训练数据（通常超过10万个例子），但我们证明了一个惊人的现象：复杂的数学推理能力可以用少得惊人的例子有效地激发出来。这一发现不仅挑战了海量数据需求的假设，也挑战了监督微调主要导致记忆而非泛化的普遍信念。通过综合实验，我们提出的模型LIMO在数学推理方面表现出了前所未有的性能和效率。LIMO仅使用817个精心策划的训练样本，在极具挑战性的AIME基准测试中达到了57.1%的准确率，在MATH上达到了94.8%，将之前基于SFT的强大模型在AIME上的性能从6.5%提高到57.1%，在MATH上从59.2%提高到94.8%，而只使用了之前方法所需训练数据的1%。最值得注意的是，LIMO表现出卓越的分布外泛化能力，在10个不同的基准测试中实现了40.5%的绝对改进，表现优于在100倍以上数据上训练的模型，直接挑战了SFT固有地导致记忆而非泛化的普遍观念。综合这些开创性的结果，我们提出了“少即是多推理假说”（LIMO假说）：在预训练期间对领域知识进行全面编码的基础模型中，复杂的推理能力可以通过最小但精确编排的认知过程演示来出现。这一假设认为，复杂推理的启发阈值并不受目标推理任务复杂性的固有限制，而是从根本上由两个关键因素决定：（1）模型在预训练期间编码知识基础的完整性，以及（2）训练后示例的有效性，这些示例作为“认知模板”，向模型展示了如何有效地利用其现有的知识库来解决复杂的推理任务。为了促进数据高效推理的可重复性和未来研究，我们将LIMO作为一个全面的开源套件发布https://github.com