Evaluating Language Models as Synthetic Data Generators

本文是LLM系列文章，针对《Evaluating Language Models as Synthetic Data Generators》的翻译。

摘要

鉴于在语言模型（LM）训练后越来越多地使用合成数据，LM生成高质量数据的能力几乎与直接解决问题的能力一样重要。虽然之前的工作侧重于开发有效的数据生成方法，但它们缺乏对不同LM作为统一环境中的数据生成器的系统比较。为了解决这一差距，我们提出了AGORABENCH，这是一个基准，提供了标准化的设置和指标来评估LM的数据生成能力。通过使用6个LM合成126万个训练实例并训练99个学生模型，我们发现了关于LM数据生成能力的关键见解。首先，我们观察到LMs表现出明显的优势。例如，GPT-4o擅长生成新问题，而Claude-3.5Connect在增强现有问题方面表现更好。此外，我们的分析表明，LM的数据生成能力不一定与其解决问题的能力相关。相反，数据质量的多种内在特征——包括反应质量、困惑度和指令难度——共同成为更好的指标。最后，我们证明了输出格式和成本意识模型选择的战略选择会显著影响数据生成的有效性。我们的代码、检查点和数据都可以在https://github.com/neulab/data-agora上可用.

1 引言