2025_NIPS_GREATS: Online Selection of High-Quality Data for LLM Training in Every Iteration

文章核心总结与翻译

一、主要内容

本文针对大型语言模型（LLMs）训练中存在的训练周期长、数据质量参差不齐（含低质、冗余、有偏数据）等问题，提出了一种高效的在线批次选择算法——GREedy Approximation Taylor Selection（GREATS），用于在训练的每个迭代中动态筛选高质量训练数据。

核心背景

现有在线批次选择方法存在明显缺陷：依赖参考模型的方法计算成本高昂，难以适配大规模LLM训练；基于简单启发式（如高损失、大梯度范数）的方法无法准确捕捉数据的真实信息量，部分场景下性能不及随机选择。静态数据选择方法则因训练前仅筛选一次数据，无法适应模型动态学习过程，易导致次优性能。

核心方案

GREATS通过以下设计解决上述问题：

1. 构建基于验证损失降低的效用函数，将批次选择转化为集合效用优化问题，确保筛选的数据对模型性能提升更具针对性；
2. 利用泰勒展开近似验证损失变化，避免昂贵的模型更新和验证损失评估，降低计算复杂度；
3. 提出“幽灵内积”（ghost inner-product）技术，无需实例化模型规模向量即可高效计算梯度内积，使算法运行速度接近常规训练；
4. 采用贪心算法迭代选择边际增益最大的数据，并通过修正项保证数据多样性，避免选择相似冗余数据。

实验验证

在LLAMA-2-7B、MISTRAL-7B等模型，LESS、ALPACA等训练数据集，以及MMLU、T