Less is Enough: Synthesizing Diverse Data in Feature Space of LLMs

论文核心总结与翻译

一、主要内容

该论文聚焦大语言模型（LLMs）训练数据的数据多样性优化问题，提出了一套以特征空间覆盖为核心的数据合成框架。核心思路是：现有文本层面的多样性指标（如n-gram熵、词向量相似度）无法有效捕捉任务相关特征，导致合成数据的下游性能有限；因此通过稀疏自编码器（SAE）解析模型内部可解释特征，量化任务相关特征的覆盖度（FAC），并针对性生成缺失特征的合成样本，最终提升模型在下游任务的表现。

论文通过理论推导证明了泛化误差的上界由“分布差距”和“采样误差”构成，而特征空间的分布对齐是降低泛化误差的关键。在实验部分，该框架在四个典型任务（毒性检测、奖励建模、行为引导、指令跟随）和三种模型家族（LLaMA、Mistral、Qwen）上验证，仅用2000个合成样本就达到了现有SOTA方法（如MAGPIE）300K样本的性能水平，且证实了跨模型的特征空间共享性。

二、核心创新点

1. 提出特征激活覆盖率（FAC）：首个在模型内部特征空间量化数据多样性的指标，直接关联任务相关特征的覆盖程度，与下游性能的皮尔逊相关系数高达0.95，远超传统文本层面多样性指标。
2. FAC Synthesis框架：通过SAE提取可解释任务特征→识别种子数据集的缺失特征→两阶段合成目标样本（第一阶段构建强弱特征对比对，第二阶段基于对比对生成高置信度样本），同时降低分布差距和采样误差。
3. 跨模型特征迁移性：发现不同模型家族存在共享的可解释特征空间，使得从一个