2025_NIPS_Analyzing Similarity Metrics for Data Selection for Language Model Pretraining

文章总结与翻译

一、主要内容

本文聚焦语言模型预训练数据筛选中的相似度度量问题，核心围绕“通用嵌入模型是否适用于预训练数据筛选”展开研究：

1. 背景：现有预训练数据筛选常依赖为检索等任务设计的通用嵌入模型计算样本相似度，但这类模型在预训练场景的适配性缺乏系统验证，且预训练数据规模大导致相关评估存在挑战。
2. 核心研究：提出一套专门评估嵌入模型适配性的框架，包含三个关键准则——嵌入空间距离与预训练损失泛化性的相关性、引导多样性数据筛选后的下游任务性能、区分不同数据来源的聚类纯度。
3. 实验设计：基于Pile数据集，预训练1.7B参数的解码器语言模型（200B tokens），对比通用嵌入模型（USE、Gecko、BERT）与两种专用嵌入模型（LM Token Embeds：输入层token嵌入平均，无需前向传播；LM Output Embeds：最终隐藏层token嵌入平均）。
4. 关键发现：通用嵌入模型表现不佳，而简单的专用嵌入模型（即使是无需前向传播的LM Token Embeds）在所有评估准则中均匹配或优于通用模型，且LM Output Embeds性能最优；PCA降维效果优于随机投影，更多PCA组件能提升聚类效果。

二、创新点

1. 提出首个针对预训练数据筛选的嵌入模型评估框架，突破现有评估仅关注下游任务（如检索、分类）的局限，聚焦预训练特有的训练动态（如损失泛化、数据冗余）。
2. 实证证明专用嵌入模型（基于目标预训练数据和模型训练）对预训练数据筛选更有效，颠覆“通用嵌入模型更优”的常规