Ultra-FineWeb: Efficient Data Filtering and Verification for High-Quality LLM Training Data

一、文章主要内容总结

本文聚焦于大规模语言模型（LLMs）训练中数据质量提升问题，提出了Ultra-FineWeb高效数据过滤管道，旨在解决传统模型驱动过滤方法的两大核心挑战：数据质量验证效率低和种子数据选择依赖人工主观性。通过结合高效验证策略、多源种子优化和轻量级分类器，作者构建了更高质量的Ultra-FineWeb数据集（包含1万亿英语token和1200亿中文token），并在多个基准任务上验证了其有效性。

二、核心创新点

1. 高效验证策略（Efficient Verification Strategy）

   • 无需从头训练LLM，利用近训练完成的LLM在最后阶段引入候选数据，通过性能提升评估数据质量。
   • 计算成本从传统方法的1200 H100 GPU小时降至110小时，显著提升迭代效率。

2. 种子数据选择优化

   • 基于“高质量种子数据利于LLM训练”假设，通过高效验证策略客观筛选正负样本，减少人工依赖。
   • 引入多源种子（如LLM标注数据、教材文本、指令格式数据等），增强分类器鲁棒性。