Democratizing Reasoning Ability: Tailored Learning from Large Language Model

本文是LLM系列文章，针对《Democratizing Reasoning Ability: Tailored Learning from Large Language Model》的翻译。

摘要

大型语言模型（LLM）在自然语言处理中表现出令人印象深刻的涌现能力，但由于巨大的计算需求和闭源性质，它们的民主化受到阻碍。最近关于通过从黑盒LLM中蒸馏知识来推进开源小型LMs的研究在指令跟随能力方面取得了有希望的结果。然而，培养更具挑战性的推理能力相对较少。在本文中，我们提出了一种量身定制的学习方法，将这种推理能力蒸馏到更小的LMs中，以促进排他性推理能力的民主化。与仅仅使用LLM作为数据注释器不同，我们通过构建交互式多轮学习范式来挖掘LLM作为推理教师的潜力。这种范式使学生能够向黑匣子教师暴露其不足，然后黑匣子教师可以提供定制的训练数据作为回报。此外，为了挖掘较小LM的推理潜力，我们提出了自我反思学习，以激励学生从自制错误中学习。自我反思和LLM的学习都是根据学生的学习状态量身定制的，这要归功于与多轮学习范式的无缝结合。对数学和常识推理任务的综合实验和分析证明了我们方法的有效性。代码将在https://github.com/Raibows/Learn-to-Reason上可用.

1 引言