Grimoire is All You Need for Enhancing Large Language Models

本文是LLM系列文章，针对《Grimoire is All You Need for Enhancing Large Language Models》的翻译。

摘要

上下文学习（ICL）是通过提供一组少量的例子来提高大型语言模型在特定任务上的性能的关键方法之一。然而，由于模型架构、学习数据量和参数大小等因素，不同类型模型的ICL能力表现出显著差异。通常，模型的参数大小越大，学习数据越广泛，其ICL能力就越强。在本文中，我们提出了一种方法SLEICL，该方法包括使用强语言模型从示例中学习，然后总结并将这些学到的技能转移到弱语言模型中进行推理和应用。这确保了ICL的稳定性和有效性。与直接使弱语言模型能够从提示示例中学习相比，SLEICL降低了ICL对这些模型的难度。我们在多达八个数据集和五个语言模型上进行的实验表明，弱语言模型使用SLEICL方法实现了对其自身零样本或少搜索功能的一致改进。一些弱语言模型甚至在SLEICL的帮助下超过了GPT4-1106preview（零样本）的性能。

1 引言

2 相关工作

3 利用Grimoire增强LLM

4 实验

5 结论

在本文中，我们介绍了一种名为SLEICL的方法，该方法基于利用强语言模型从具有代表性的样本中学习并提取解决特定任务的技能，从而提高弱语言模型在这些任务中的熟练度。这个框架内的综合技能被称为grimoire。为了使grimoire类别多样化并全面检查其影响，我们开发了四种不同的代表性样本选择方法（KCS、HCS、HSS、RSS）和零样本方法，以及两种grimoire生成模板（PG和SG），最终创