2025_NIPS_Data Selection for Language Models via Importance Resampling

文章总结与翻译

一、主要内容

本文聚焦语言模型（LM）预训练数据选择问题，提出了一种基于重要性重采样的高效、可扩展数据选择框架DSIR（Data Selection with Importance Resampling），核心目标是从大规模原始无标签数据中筛选出与目标分布相似的子集，以提升模型在特定领域或通用领域的下游任务性能。

1. 研究背景

• 现有LM预训练数据选择多依赖启发式方法（如GPT-3、PaLM的文本分类筛选）或人工筛选，前者无法保证数据分布与目标一致，后者耗时费力。
• 高维文本数据的重要性权重估计存在统计不可处理性，传统重要性重采样方法难以直接应用。

2. 核心框架（DSIR）

1. 特征映射：采用哈希n-gram特征（结合单字和双字信息）将文本映射到低维特征空间，平衡计算效率与信息保留。
2. 分布学习：分别学习目标数据和原始数据在特征空间中的分布。
3. 权重计算：基于两个分布计算每个原始数据样本的重要性权重（目标分布概率/原始分布概率）。
4. 重采样：通过Gumbel top-k技巧无放回采样，筛选出k个高权重样本作为预训练数据。

3. 关键验证与结果

• 有效性验