SAAS: Solving Ability Amplification Strategy for Enhanced Mathematical Reasoning

本文是LLM系列文章，针对《SAAS: Solving Ability Amplification Strategy for Enhanced Mathematical Reasoning in Large Language Models》的翻译。

摘要

本研究提出了一种新的学习方法，旨在提高大型语言模型（LLMs）的数学推理和解决问题的能力。我们专注于整合思维链（CoT）和思维程序（PoT）学习，假设优先学习数学推理能力有助于提高解决问题的能力。因此，CoT的初始学习对于解决具有挑战性的数学问题至关重要。为此，我们提出了一种顺序学习方法，称为SAAS（解决能力放大策略），该方法从CoT学习战略性地过渡到PoT学习。我们的实证研究涉及使用多个基准进行广泛的性能比较，表明我们的SAAS达到了最先进的（SOTA）性能。结果强调了我们的顺序学习方法的有效性，标志着LLM数学推理领域的重大进步。

1 引言

2 相关工作和背景

3 SAAS：解决能力放大策略

4 实验

5 结论

本文从解决具有挑战性的数学问题的意义上论证了以下两点：（1）通过思维链（CoT）学习优先考虑数学推理能力的学习，有助于在思维程序（PoT）学习中放大解决问题的能力；（2） 为了实现有效的顺序学习，有必要采用认知记忆策略，将初始阶段的一些数据样本整合到后续阶段。鉴于此，我们提出了一种新的顺序学习方法，称为SAAS（解