Meta提出AI数据科学家，Autodata构建高质量训练/评测数据集

近年来，大模型能力的持续提升正在不断重塑人工智能的发展路径，但一个愈发清晰的共识是：模型性能的边界正在从「算法创新驱动」逐步转向「数据质量驱动」。在高质量人类标注数据日益稀缺、成本持续上升的背景下，合成数据逐渐成为后训练阶段的重要支撑方式，它能够生成在真实语料中较为稀缺的边缘案例与长尾场景；降低人工标注的难度与延迟；并且在某些情况下还能生成比人类数据分布更具挑战性的训练样本。

随着大语言模型（LLMs）的出现，「Self-Instruct」作为一种通过零样本或少样本提示生成合成数据的方法被提出；在此基础上，「Grounded Self-Instruct」 进一步引入文档等外部来源作为约束，以减少幻觉并提升多样性；此外，「CoT Self-Instruct」在生成过程中引入链式思维推理，以构造更复杂且更准确的任务；最后，一类所谓的「self-challenging」方法允许一个挑战者智能体在提出任务及其评测函数之前先与工具交互。然而，这些方法都无法直接控制数据的难度与质量，因此催生了过滤、进化与精炼等改进策略。

在这一背景下，Meta 基础人工智能研究团队（FAIR at Meta）提出一种通用方法 Autodata，对上述所有方法进行了统一与泛化。在该框架中，一个作为「数据科学家」的智能体负责构建与整理数据，其行为模拟人类数据科学家的流程，以生成高质量数据。这一过程不仅包含初始的数据生成，还包括对数据的分析阶段（类似「人工审查」），评估其表现、总结经验，并据此迭代生成更优的数据方案。

研究人员在计算机科学研究任务、法律推理任务以及数学对象推理任务上进行了实验，相较于传统的合成数据构建方法取得了更好的结果。此外，对数据科学家智能体本身进行元优化，还带来了更显著的性能提升。

相关研究成果以「Autodata: An agentic data scientist to create high quality synthetic data」为题，已发布预印本于 arXiv。

研究亮点：

* 基于智能体的数据生成方式，提供了一种将推理计算资源转化为更高质量模型训练数据的路径。

* 数据科学家智能体本身也可以被元优化，在无需人工提示工程的情况下进一步带来显著性能提升。

* 该研究有潜力改变未来用于推动 AI 前沿发展的任务与基准构建方式。

论文地址：
Autodata: An agentic data scientist to create high quality synthetic data | Papers | HyperAI

数据集：覆盖三类核心任务场景

Autodata 框架在实验中覆盖了三类核心任务场景：计算机科学研究问题、法律推理任务以及基于数学对象的科学推理任务。这些任务分别依托不同的数据源体系构建，从而测试该框架在不同认知结构下的泛化能力。

在计算机科学任务中，研究人员从 S2ORC 语料库（2022 年及以后）中处理超过 1 万篇计算机科学论文，并使用 Agentic Self-Instruct 生成了 2,800 个被接受的样本。在循环结束后，使用基于 Kimi-K2.6 的质量验证器进一步过滤这些样本，去除存在论文特定信息泄漏、上下文过短或评分标准格式错误的问题，最终保留 1,300 个高质量样本作为用于强化学习（RL）训练的 Agentic Self-Instruct 数据集。

在法律推理任务中，数据来源于 Pile of Law 等公开法律文书体系，包括法院判决与法律意见书，并在 PRBench-Legal 以及其困难子集 PRBench-Legal-Hard 上进行评估。与科学论文不同，法律文本具有更强的结构化逻辑约束与判例依赖特征，因此在生成任务中更强调事实抽取与规则应用能力。

在科学推理任务中，研究基于 Principia 相关数据体系。Principia 数据集采用基于 CoT Self-Instruct 的方法构建，覆盖 MSC2020 与 PHYS 分类体系中的广泛课程内容，而 Principia benchmark 则由人类标注的现有数学与物理基准子集构成，这些问题经过筛选，确保答案中涉及数学对象。

在所有任务中，Autodata 的目标不是简单生成问答，而是生成能够有效区分弱模型与强模型能力的训练数据。

Autodata：采用自主智能体来模拟数据科学家的角色

Autodata 的顶层设计如下图所示，该框架采用一个自主智能体来模拟数据科学家的角色，通过迭代方式生成数据、进行定性检查与定量性能评估、综合分析所得洞察，并据此更新数据生成方法，在这一模板基础上可以构建多种不同的实现形式。

Autodata 工作流

整体循环由以下几个组件构成：

① 数据生成（Data Creation）
Autodata 智能体基于某些提供的数据进行「接地」（grounding）（例如数学、法律、编程等领域的特定文档，或其他根据任务选择的有用数据源），以辅助生成数据。该智能体可以使用工具或其此前获得的已有技能与经验，并利用推理阶段的计算资源，来生成用于模型训练或评测的训练数据与基准数据。这一数据生成步骤可以在后续分析与学习之后重复执行，从而不断改进并提升数据质量。

② 数据分析（Data Analysis）
在获得智能体生成的数据之后，系统会对这些数据进行分析，以总结其「做对了什么」与「做错了什么」，以及如何进一步改进。这种分析可以发生在不同层级：既可以针对单个样本（例如判断某个例子是否正确、质量是否高、是否足够具有挑战性），也可以针对整个数据集层面（例如样本是否多样化，作为训练数据是否能够提升模型性能）。这些分析所得的结论会反馈回数据生成阶段，从而在下一轮迭代中生成更优的数据，直到满足停止条件为止。

③ 整体数据科学家循环（Overall Data Scientist Loop）
智能体在「数据生成—数据分析」之间不断循环，直到其对数据质量感到满意为止，最终生成一个高质量的训练数据集或评测基准。在外层循环中，还可以加入特定的安全或约束机制，以防止系统被 hacking。这种智能体循环使模型能够在过程中不断积累并利用自身的学习成果。

④ 数据科学家的元优化（Meta-Optimization of the Data Scientist）
该智能体本身也可以进一步被优化，使其更擅长充当数据科学家。一种方法是使用类似 autoresearch 或 meta-harness 的方法，对智能体框架进行优化，并利用相同的内循环目标（即「生成更好的数据”）来指导外循环优化，从而改进整个智能体系统。

在具体实现中，论文提出 Agentic Self-Instruct 作为 Autodata 的一个实例化方法，如下图所示：

弱—强对比的 Agentic Self-Instruct 方法

该方法的主协调智能体（main orchestrator agent）可以访问 4 个基于大语言模型（LLM）的子智能体：

* 挑战者（Challenger）：根据主智能体提供的详细提示生成训练样本；

* 弱求解器（weak solver）：通常难以解决所生成训练数据的模型；

* 强求解器（strong solver）：通常能够成功解决所生成训练数据的模型；

* 验证器/评审（verifier/judge）：在给定样本和模型解答后，检查其质量，并将其学习结果反馈给主智能体。

该系统的目标是生成一种训练数据，使得强求解器能够成功完成任务，而弱求解器则难以解决。主 LLM 会分析评审给出的反馈，并据此更新发送给挑战者的提示，然后不断重复这一循环，从而生成用于训练弱求解器的高难度样本。

成果展示：相较传统合成数据构建方法取得更优的结果

研究人员的实验部分覆盖 3 个任务领域，从而在多个维度上验证了 Autodata 框架的有效性。

计算机科学任务

在计算机科学任务中，Agentic Self-Instruct 生成的数据显著降低了弱模型与强模型之间的混淆率，使得训练信号更加清晰。

在基线 CoT Self-Instruct 方法生成的问题上，弱求解器平均得分为 0.677；而在使用 Agentic Self-Instruct 生成的同一类源材料（论文）问题中，弱求解器得分下降 22 个百分点（0.677 → 0.458），而强求解器得分提升 8 个百分点（0.696 → 0.772），如下表所示，说明最终接受的问题对强模型的深层推理能力具有更高的激励作用。

生成的计算机科学研究任务质量统计

RL 训练中，面对较简单的 CoT Self-Instruct 测试集（下表左侧），用 CoT 数据训练可以将基础 4B 模型从 mean@3 = 0.630 提升到 0.727，而用 Agentic 数据训练进一步提升到 0.774；在更困难的 Agentic 测试集上（下表右侧），对应结果为：0.366（基础模型）→ 0.500（CoT训练）→ 0.632（Agentic训练）。两种方法之间的差距在该测试集上显著更大（超过 CoT 测试集的两倍），best@3 指标也呈现相同排序。

计算机科学研究任务上的强化学习（RL）训练结果

Agentic 训练模型在两个方向上都表现出迁移能力（在 CoT 测试集上 +0.05，在更难的 Agentic 测试集上 +0.13）。这种明显优势表明，由 Agentic 流水线生成的、具有更强区分性的训练数据，能够转化为更强的推理能力。

法律推理任务

法律推理任务中，研究发现一个相反但同样重要的现象：传统 CoT 生成的数据反而过难，导致弱模型几乎无法提供有效梯度信号（大量零分输出）。Autodata通过引入更细粒度的评估反馈机制，使数据难度重新回到「可学习区间」，显著提升了 GRPO 训练的稳定性与效果。

研究人员使用 GRPO 在两种数据源上对 Qwen3.5-4B 进行训练：分别是 2.8k 个法律问答-评分标准（Question-Rubric）对（Agentic Self-Instruct 与 CoT Self-Instruct）。在训练过程中，每隔 20 个 step，在两个评估集合上进行测试：一个是包含 100 个 prompt 的 CoT 留出集，另一个是 PRBench Legal / Legal-Hard 切分。所有奖励与评分均由 Kimi-K2.6 进行评估。下图中的训练曲线显示，在每一个评估 checkpoint 上，Agentic 方法都在训练奖励、CoT 验证集以及 PRBench-Legal 上保持领先。

法律推理任务上的强化学习训练动态

科学推理任务

科学推理任务中，Agentic Self-Instruct同样表现出稳定优势。在组合验证集上（如下表），使用 Agentic Self-Instruct 数据训练取得了最大的整体提升（+3.20% avg@8），优于直接使用 CoT Self-Instruct（+2.42%）以及 Combined 数据（+2.70%）。

在科学推理任务上的强化学习训练结果评估

一个关键发现是：即使在未专门优化的 CoT 验证子集上，Agentic Self-Instruct 仍然带来更高提升（+3.05% vs CoT 的 +1.86%）。这表明，在更困难任务上训练能够迁移到更简单任务：通过迭代 agentic 过程生成的高难度样本，可以学习到可泛化的推理能力，而不局限于特定难度分布。

在分布外的 Principia benchmark 上（如下表），Agentic Self-Instruct 同样取得最佳平均提升（+1.04% avg@8），并在多个类别上持续领先，尤其是在 RealMath（+1.75%）和 SuperGPQA（+0.82%）上。这一迁移效果进一步证明：Agentic Self-Instruct 生成的更困难问题能够提升更鲁棒的推理能力。

分布外 Principia 基准测试结果，对比不同训练数据来源

结语

总而言之，Autodata 提出了一种新的数据生成范式：将数据生成过程建模为一个由智能体驱动的数据科学循环。在该框架中，数据生成、评估、失败分析与策略优化被统一在同一个闭环系统中。进一步的元优化实验表明，数据科学智能体本身也可以被优化，从而在无需人工提示工程的情况下提升数据质量。

整体来看，该研究的核心贡献在于提供了一种机制，将推理阶段的计算资源转化为更高质量的训练数据生成能力。未来，这一方向仍有大量拓展空间，包括更大规模的任务适配、更复杂的多轮智能体协作、以及数据集级别的全局优化。此外，将人类反馈重新引入循环，与智能体形成协同优化机制，也被认为是重要的发展方向。