LIMO: Less is More for Reasoning

本文是LLM系列文章，针对《LIMO: Less is More for Reasoning》的翻译。

摘要

我们提出了一个基本发现，挑战了我们对大型语言模型中复杂推理如何出现的理解。虽然传统观点认为，复杂的推理任务需要大量的训练数据（通常超过10万个例子），但我们证明了一个惊人的现象：复杂的数学推理能力可以用少得惊人的例子有效地激发出来。这一发现不仅挑战了海量数据需求的假设，也挑战了监督微调主要导致记忆而非泛化的普遍信念。通过综合实验，我们提出的模型LIMO在数学推理方面表现出了前所未有的性能和效率。LIMO仅使用817个精心策划的训练样本，在极具挑战性的AIME基准测试中达到了57.1%的准确率，在MATH上达到了94.8%，将之前基于SFT的强大模型在AIME上的性能从6.5%提高到57.1%，在MATH上从59.2%提高到94.8%，而只使用了之前方法所需训练数据的1%。最值得注意的是，LIMO表现出卓越的分布外泛化能力，在10个不同的基准测试中实现了40.5%的绝对改进，表现优于在100倍以上数据上训练的模型，直接挑战了SFT固有地导致记忆而非泛化的普遍观念。综合这些开创性的结果，我们提出了“少即是多推理假说”（LIMO假说）：在预训练期间对领域知识进行全面编码的基础模型中，复杂的推理能力可以通过最小但精确编排的认知过程演示来出现。这一假设认