Selective Instruction Tuning for Large Language Models via Uncertainty-Aware Self-Reflection

本文是LLM系列文章，针对《SelectIT: Selective Instruction Tuning for Large Language Models via Uncertainty-Aware Self-Reflection》的翻译。

摘要

指令调整（IT）对于调整大型语言模型（LLM）以实现以人为中心的交互至关重要。最近的进展表明，仔细选择一小部分高质量的IT数据子集可以显著提高LLM的性能。尽管如此，常见的方法往往依赖于额外的模型或数据集，这增加了成本并限制了广泛采用。在这项工作中，我们提出了一种新的方法，称为SelectIT，它利用了LLM本身的基本能力。具体而言，我们利用LLM中存在的内在不确定性，在不需要额外资源的情况下，更有效地选择高质量的IT数据。此外，我们还介绍了一种新的IT数据集Selective Alpaca，它是通过将SelectIT应用于Alpaca-GPT4数据集而创建的。实证结果表明，使用Selective Alpaca的信息技术可以显著提高模型能力。SelectIT的稳健性也在各种基础模型和特定领域的任务中得到了证实。我们的研究结果表明，更长、计算更密集的IT数据可能是IT的优越来源，为该领域的未来研究提供了有价值的见解。数据、代码和脚本可在https://github.com/Blue-Raincoat/SelectIT上免费获取。

1 引言

2 相关工作

3 我们的SelectIT方法

4 实验

5 分析

6 结论

本文介绍了一种