Leveraging Open Knowledge for Advancing Task Expertise in Large Language Models

本文是LLM系列文章，针对《Leveraging Open Knowledge for Advancing Task Expertise in Large Language Models》的翻译。

摘要

培养大型语言模型（LLM）的专业知识来解决特定领域的任务通常需要针对预期稳定输出进行特殊目的的调整和校准行为。为了避免手动准备长达数百小时的指令数据集和训练资源带来的巨额成本，利用包括丰富的低秩适应（LoRA）模型和指令数据集在内的开放知识作为一个很好的起点。然而，现有的模型和数据选择方法侧重于通用功能的性能，而忽略了特定领域部署中暴露的知识差距。在本研究中，我们建议通过引入少量人工注释样本（即 K-shot）来弥合这一差距，以利用开放知识提升LLM的任务专业知识。具体来说，我们开发了一个高效且可扩展的管道，以经济高效地生成任务专家，其中 K-shot 数据介入选择最有希望的专家候选者和任务相关指令。混合专家 (MoE) 系统的建立是为了充分利用多位专家之间各自互补的知识。我们揭示了 MoE 系统成功的两个关键，1）对 K-shot 的遵守，2）对多样性的坚持。对于前者，我们确保选择真正具有 K-shot 问题解决能力的模型，而不是那些盲目猜测的人。此外，在数据选择过程中，与 K-shot 共享任务相关上下文的指令会被优先考虑。对于后者，我们强调了组成专家的多样性以及整个模型和数据选择过程中微调指令的多样性。大量的实验结果证实了我们的方法在跨各种任务利用开放知识方面优于现有方法。我们的代码将在 https://github.com/Yaphabates/Rocket 上提供。

1 引言

2 相关工作

3 方法