Fine-Tuning Large Language Models with Sequential Instructions

本文是LLM系列文章，针对《Fine-Tuning Large Language Models with Sequential Instructions》的翻译。

摘要

大型语言模型（LLM）很难在单个查询中遵循一系列指令，因为它们可能会忽略或误解其中的一部分。这会削弱它们在复杂问题中的性能，这些问题的解决方案需要多个中间步骤，如多语言（翻译然后回答）和多模态（说明然后回答）任务。我们用LLaMA-2 70B和Mixtral-8×7B这样大的开源LLM实证验证了这一点。针对当前数据中顺序指令的稀缺性，我们提出了顺序指令调优（SIT），这是一种简单而有效的策略，可以自动增加指令调优数据，并使LLM具备执行多个顺序指令的能力。在探索了现有数据集（如Alpaca）中具有广泛中间任务的交错指令后，我们发现在涉及推理、多语言和多模态能力的下游任务中，顺序指令调整模型始终优于传统指令调整基线。为了进一步阐明我们的技术，我们分析了对抗性中间文本、看不见的任务、提示措辞、任务数量和提示长度如何影响SIT。我们希望这种方法将为复杂任务的指令调整开辟新的研究途径。我们在https://github.com/hanxuhu/Seq_IT发布代码。

1 引言