Self-Alignment with Instruction Backtranslation

本文是LLM系列文章，针对《Self-Alignment with Instruction Backtranslation》的翻译。

摘要

我们提出了一种可扩展的方法，通过用相应的指令自动标记人类书写的文本来建立高质量的指令跟随语言模型。我们的方法名为指令反翻译，从一个在少量种子数据和给定的网络语料库上微调的语言模型开始。种子模型用于构建训练示例，方法是生成网络文档的指令提示（自增强），然后从这些候选者中选择高质量的示例（自管理）。然后使用这些数据来微调更强的模型。在我们的方法的两次迭代中对LLaMa进行微调，产生了一个优于Alpaca排行榜上所有其他基于LLaMa的模型的模型，该模型不依赖于蒸馏数据，证明了高效的自校准。

1 引言

2 方法

3 实验