CLUES: Collaborative High-Quality Data Selection for LLMs via Training Dynamics

文章主要内容总结

本文聚焦于大型语言模型（LLMs）在协作训练场景下的数据质量控制问题，提出了一种名为CLUES（Collaborative High-Quality Data Selection for LLMs via Training Dynamics） 的方法，核心内容如下：

1. 研究背景：

   • 高质量数据对LLMs性能至关重要，但协作训练中（如模型合并、联邦学习），数据孤岛间无法直接共享数据，导致自动化数据质量控制面临挑战（如质量异质性、领域异质性）。
   • 现有方法（如困惑度过滤、去重）在复杂协作场景中效果有限，且缺乏统一的质量标准。

2. 核心方法（CLUES）：

   • 核心思想：高质量数据与锚定数据集（公开高质量数据）的训练动态更相似，通过衡量数据对训练动态的影响来筛选高质量数据。
   • 两阶段流程：
     • 阶段一（本地训练动态评分）：客户端计算每个私有数据样本的梯度与验证集梯度的内积累积迹，作为质量分数。
     • 阶段二（全局锚定阈值）：服务器使用少量锚定数据计算平均分数作为全局阈值，客户端保留分数高于阈值的数据，再通过模型合并或联邦学习聚合参数。
   • 技术细节