Understanding the Instruction Mixture for Large Language Model Fine-tuning

本文是LLM系列文章，针对《Understanding the Instruction Mixture for Large Language Model
Fine

摘要

尽管大型语言模型（LLM）的指令微调已被证明可以提高各种应用程序的性能，但指令-数据集混合对LLM的影响尚未得到彻底探讨。在这项研究中，我们将指令分为三种主要类型：NLP下游任务、编码和一般聊天，并研究它们对LLM的影响。我们的研究结果表明，特定类型的指令对特定用途更有利，同时可能对其他方面造成危害，强调了精心设计指令组合以最大限度地提高模型性能的重要性。本研究揭示了混合指令法，为今后的研究铺平了道路。

1 引言

2 相关工作

3 实验设置

4 结果

5 结论

在本文中，我们研究了在指令微调中不同的数据混合策略。我们用不同的基准和对齐技能来测量模型。我们发现，通用指令提供了更好的对齐技能以及NLP基准测试的性能，代码指令提高了编码和对齐技能，而NLP任务重新格式化的指令在与其他指令类型组合时阻碍了对齐技能。