LOBASS: GAUGING LEARNABILITY IN SUPERVISED FINE-TUNING DATA

本文是LLM系列文章，针对《LOBASS: GAUGING LEARNABILITY IN SUPERVISED FINE-TUNING DATA》的翻译。

摘要

监督微调（SFT）是将大型语言模型（LLM）与特定任务先决条件相结合的关键阶段。微调数据的选择深刻影响了模型的性能，其原理传统上基于数据质量和分布。在本文中，我们在SFT数据选择中引入了一个新的维度：可学习性。这个新维度的动机是直觉，即SFT解锁了LLM在预训练阶段获得的能力。考虑到不同的预训练模型具有不同的能力，适合一个模型的SFT数据可能不适合另一个模型。因此，我们引入了术语“可学习性”来定义数据对模型有效学习的适用性。我们提出了基于损失的SFT数据选择（LoBaSS）方法，利用数据可学习性作为选择SFT数据的主要标准。这种方法提供了一种细致入微的方法，允许将数据选择与固有的模型功能相结合，确保最佳兼容性和学习效率。在涉及7B和13B模型的实验比较中，我们的LoBaSS方法能够在800个数据点（1.5%）的情况下获得可比较的结果，并且仅在总训练数据的6%时就超过了全数据微调。当使用16.7%的数据时，LoBaSS协调了该模型在会话和数学领域的能力，证明了其有效性和适应性。

1 引言

2 相关工作

3 方法

4 实验

5 局限和讨论

我们工作的一个局限性是，虽然我们引入了可学习性作为衡量SFT数据卓越性的一个新维度，但我们主要关注的是仅用于数据选择的方法。我们没有将这一观点应用于SFT数据的生成和增强，从而限制了其增强模型性能的潜力。我们计划在未来将可学习性的观点纳入SFT数据的生成和增强中。这种方法将涉