KNOWLEDGE FUSION OF LARGE LANGUAGE MODELS

本文是LLM系列文章，针对《KNOWLEDGE FUSION OF LARGE LANGUAGE MODELS》的翻译。

摘要

虽然从头开始训练大型语言模型（LLM）可以生成具有不同功能和优势的模型，但这会带来巨大的成本，并可能导致冗余功能。或者，一种具有成本效益和说服力的方法是将现有的预训练的LLM合并到一个更有效的模型中。然而，由于这些LLM的架构各不相同，直接混合它们的权重是不切实际的。在本文中，我们引入了LLM的知识融合概念，旨在将现有LLM的能力结合起来，并将其转移到单个LLM中。通过利用源LLM的生成分布，我们将其集体知识和独特优势外部化，从而有可能将目标模型的能力提升到任何单个源LLM之外。我们使用三种不同架构的流行LLM——Llama-2、MPT和OpenLLaMA——在各种基准测试和任务中验证了我们的方法。我们的研究结果证实，LLM的融合可以在推理、常识和代码生成等一系列功能上提高目标模型的性能。我们的代码、模型权重和数据公开于https://github.com/fanqiwan/FuseLLM.

1 引言

2 相关工作

3 LLMs的知识融合

4 实验

5 结论

在这项研究中，我们探索了LLM的知识融合领域，以创建一个统一的模型，将多个结构不同的LLM的能力和独特优势相结合。我们介绍了一种新的方法，FUSELLM，它利用这些源LLM的生成分布来外部化它们的知识，并将它们用于目标LLM的持续训练。通过一系列