LOBASS: GAUGING LEARNABILITY IN SUPERVISED FINE-TUNING DATA

最新推荐文章于 2025-11-25 12:11:01 发布

UnknownBody

最新推荐文章于 2025-11-25 12:11:01 发布

阅读量281

点赞数

CC 4.0 BY-SA版权

文章标签：人工智能 SFT 语言模型

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/133983147

LLM 日更专栏收录该内容

828 篇文章

已下架不支持订阅

本文提出了一种新的SFT数据选择维度——可学习性，通过损失为基础的SFT数据选择（LoBaSS）方法，提高了微调效率。在少量数据下，LoBaSS能实现与全数据微调相当甚至超越的效果，证明了其有效性和适应性。

本文是LLM系列文章，针对《LOBASS: GAUGING LEARNABILITY IN SUPERVISED FINE-TUNING DATA》的翻译。

摘要

监督微调（SFT）是将大型语言模型（LLM）与特定任务先决条件相结合的关键阶段。微调数据的选择深刻影响了模型的性能，其原理传统上基于数据质量和分布。在本文中，我们在SFT数据选择中引入了一个新的维度：可学习性。这个新维度的动机是直觉，即SFT解锁了LLM在预训练阶段获得的能力。考虑到不同的预训练模型具有不同的能力，适合一个模型的SFT数据可能不适合另一个模型。因此，我们引入了术语“可学习性”来定义数据对模型有效学习的适用性。我们提出了基于损失的SFT数据选择（LoBaSS）方法，利用数据可学习性作为选择SFT数据的主要标准。这种方法提供了一种细致入微的方法，允许将数据选择与固有的模型功能相结合，确保最佳兼容性和学习效率。在涉及7B和13B模型的实验比较中，我们的LoBaSS方法能够在800个数据点（1.5%）的情况下获得可比较的结果，并且仅在总训练数据的6%时就超过了全数据微调。当使用16.7%的数据时，LoBaSS协调了该模型在会话和数学领域的能力，证明了其有效性和适应性。