TinyLLM: Learning a Small Student from Multiple Large Language Models

本文是LLM系列文章，针对《TinyLLM: Learning a Small Student from Multiple Large Language Models》的翻译。

摘要

将推理能力从更强的大型语言模型（LLM）转移到更小的模型是非常有吸引力的，因为更小的LLM更灵活，部署成本更低。在现有的解决方案中，知识提炼因其卓越的效率和泛化能力而脱颖而出。然而，现有的方法存在一些缺陷，包括知识多样性有限和缺乏丰富的上下文信息。为了解决这些问题并促进紧凑语言模型的学习，我们提出了TinyLLM，这是一种新的知识提取范式，用于从多个大型教师LLM中学习一个小型学生LLM。特别是，我们鼓励LLM学生不仅要生成正确的答案，还要理解这些答案背后的原理。鉴于不同的LLM具有不同的推理技能，我们引导学生模型吸收不同教师LLM的知识。我们进一步引入了上下文中的示例生成器和教师强制思想链策略，以确保推理是准确的，并基于上下文适当的场景。在两个推理任务的六个数据集上进行的大量实验证明了我们方法的优越性。结果表明，尽管TinyLLM的模型尺寸要小得多，但它的性能明显优于大型教师LLM。