2025_NIPS_Fixing It in Post: A Comparative Study of LLM Post-Training Data Quality and Model Perf...

文章核心总结与创新点

主要内容

文章聚焦大语言模型（LLM）训练后数据集的质量评估与优化，通过对Tulu-3-SFT-Mix（Tulu）和SmolTalk两大开源训练后数据集的系统性分析，提出质量与任务感知的数据筛选方案，最终构建出更精简高效的数据集TuluTalk。具体包括：对主流开源训练后数据集进行首次横向对比，用Magpie框架从多维度标注数据样本，基于标注结果设计筛选策略，在缩减数据集规模（比Tulu少14%、比SmolTalk少23%）的同时，实现关键基准测试性能的持平或超越。

创新点

1. 首次对Tulu、SmolTalk等主流开源训练后数据集开展严格控制变量的横向对比，覆盖14项LLM基准测试，明确各数据集在特定任务上的优劣。
2. 基于Magpie框架扩展多维度标注体系，涵盖对话结构、输入输出质量、任务类别等，解决开源训练后数据集标注缺失问题。
3. 提出兼顾质量与任务多样性的筛选方案，通过量化标注指标平衡数据质量与任务覆盖度，构建出精简且高性能的TuluTalk数据集。
4. 验证了筛选策略的跨模型泛化性，在Llama、SmolLM、Qwen等不同架构和规模的模型上均实现性能提升，且支持从有监督微调（SFT）到直接偏好优化（DPO）的跨训练阶段迁移。

---

英文原文翻译（Markdown格式）

Abstract

近年来，大语言模型（LLM）相关研究日益关注训练后过程及与