Efficient Code LLM Training via Distribution-Consistent and Diversity-Aware Data Selection

文章主要内容总结

本文聚焦于代码大语言模型（Code LLM）的高效训练，针对现有方法过度依赖数据量、忽视数据质量导致训练效率低下的问题，提出了一种基于参数模型的代码数据选择方法。该方法通过优化参数模型，确保所选数据子集与原始数据集的分布一致性，同时最大化子集内部的多样性，从而筛选出高质量数据。

实验以92K混合Python数据集（MixPython-92K）为训练基础，基于DeepSeek-Coder-Base-6.7B模型验证：仅使用10K样本时，在HumanEval和MBPP基准上分别比92K全量数据基线提升2.4%和2.3%，且在性能和效率上均优于其他采样方法。这表明该方法能在显著降低计算成本的同时，有效提升模型性能。

创新点

1. 首次将参数模型引入代码数据选择：通过平衡分布一致性和多样性，精准识别高质量数据，显著提升模型性能。
2. 在特征空间进行数据选择：避免传统离散选择方法的局限性，大幅提高采样和训练效率。
3. 实验验证的高效性：仅用10K样本即优于全量数据训练效果，且在不同数据规模下的性能和采样时间上均超越其他方法。

翻译部分

Abstract（摘要）

近年来，大语言模型（LLMs）的进展显著提升了代码生成和程序理解能力，加速了软件工程的演进。当前方法主要通过海量数据提