Evolutionary Optimization of Model Merging Recipes

本文是LLM系列文章，针对《Evolutionary Optimization of Model Merging Recipes》的翻译。

摘要

我们提出了一种进化算法的新应用，以自动创建强大的基础模型。虽然由于其成本效益，模型合并已成为LLM开发的一种很有前途的方法，但它目前依赖于人类的直觉和领域知识，限制了其潜力。在这里，我们提出了一种进化方法，通过自动发现各种开源模型的有效组合，利用它们的集体智慧，而不需要大量额外的训练数据或计算，来克服这一限制。我们的方法在参数空间和数据流空间中运行，允许优化超出单个模型的权重。这种方法甚至有助于跨领域合并，生成具有数学推理功能的模型，如日本LLM。令人惊讶的是，我们的日本数学LLM在各种已建立的日本LLM基准上实现了最先进的性能，甚至超过了参数明显更多的模型，尽管没有针对此类任务进行明确的训练。此外，通过我们的方法生成的具有文化意识的日本VLM证明了其在描述日本文化特定内容方面的有效性，优于以前的日本VLM。这项工作不仅为开源社区贡献了新的最先进的模型，还引入了一种新的自动化模型组合范式，为探索替代的、高效的基础模型开发方法铺平了道路。

1 引言

2 背景和相关工作

3 方法

4 实验

5 讨论和未来工作

在这份报告中，我们提出了一种通用方法，该方法使用进化技术来有效地发现从具有不同功能的不同开源模型的汪洋大海中组合不同模型的最佳方法。通过使用现有开放模型的巨大集体智能，我们的方法能够自动创建具有用户指定的所需功能的新基础模型。我们发现，我们的方法能够自动发现新的方法来合并来自截然不同领域的不同模型（例如，非