2025_NIPS_Enhancing Multilingual LLM Pretraining with Model-Based Data Selection

文章核心总结与翻译

一、主要内容

文章针对多语言大语言模型（LLM）预训练数据筛选中，基于模型的方法主要集中于英语的问题，提出了一个透明、简洁且高效的多语言数据筛选框架。该框架以结构化和知识丰富的样本为筛选目标，采用FastText和XLM-RoBERTa（Transformer类模型）作为分类器，在FineWeb-2数据集上进行了多语言（涵盖20种语言，包括中、德、法、阿语等）验证。实验表明，仅使用15%的训练tokens就能匹配基线模型（FineWeb-2）在MMLU上的表现，同时缓解了“多语言诅咒”，在其他基准测试中也有提升，并公开了筛选后的数据集和代码。

二、创新点

1. 首次构建了适用于大规模多语言场景的统一模型筛选框架，支持不同语系、文字系统和资源量的语言。
2. 结合FastText和Transformer嵌入两种方法，平衡了计算效率与筛选效果，满足不同资源约束场景。
3. 提出Multilingual Knowledge Collection（MKC及MKC⁺）训练数据集配置，通过多样化结构化样本提升筛选准确性，且验证了数据多样性对性能的正向作用。
4. 公开了20种语言的高质量预训练数据集（FineWeb2-HQ），为多语言LLM研究提供基础资源。

---

三、关键部分翻译（Markdown格式）

Abstract（摘要）

数据集整理已成为大型语言模型（LLM）实现优异性