Chain-of-Instructions: Compositional Instruction Tuning on Large Language Models

本文是LLM系列文章，针对《Chain-of-Instructions: Compositional Instruction Tuning on Large Language Models》的翻译。

摘要

使用大量不同指令的集合对大型语言模型（LLM）进行微调，提高了模型对不同任务的泛化能力，即使是对看不见的任务也是如此。然而，大多数现有的指令数据集只包括单个指令，并且它们很难遵循由多个子任务组成的复杂指令。在这项工作中，我们提出了一个新的组合指令概念，称为指令链（CoI），其中一条指令的输出像链一样成为下一条的输入。与解决单个指令任务的传统实践不同，我们提出的方法鼓励模型逐步解决每个子任务，直到得到最终答案。CoI调整（即，使用CoI指令进行微调）提高了模型处理由多个子任务组成的指令的能力。CoI调优模型在多语言摘要方面也优于基线模型，证明了CoI模型在看不见的复合下游任务上的可推广性。

1 引言

2 指令链

3 实验设置

4 结果

5 相关工作

6 结论和未来工作

在这项工作中&#x