新思路！如何在数据稀缺下构建高质量丰富数据集？

原创最新推荐文章于 2026-08-22 15:17:08 发布 1.8k 阅读 AI写同款

Python_金钱豹

1万+粉丝2839篇原创

关注

手把手实战：开源工具 Easy Dataset 三步生成数据集 例如，当我们尝试使用 DeepSeek 上传一份原始文档并通过提示词让模型生成QA数据集时，可以观察到上述缺陷的存在：即使重复操作，基于相同输入文件生成的结果依旧保持一致且质量有限。项目创建完成后，进行模型配置，这一步可以根据各自情况配置，配置也非常简单，选择“项目设置” -> “模型配置”，如下图。在某些专业性强的领域，如医疗健康或法律服务中，由于严格的隐私保护法规限制，公开可用的数据集相对稀缺，获取难度较大。选择“问题管理”，勾选生成的问题，选择“批量构造数据集”，过程仍需等待一段时间。阅读详情

AI摘要

本文围绕大模型训练和数据集构建问题，介绍了数据集增强新思路MGA方法。该方法通过“类型 - 受众”对驱动内容多样性，技术实现分三步，能提升模型性能和学习效率。还介绍了在Easy Dataset中使用MGA增强数据集及后续优化思路，最后分享了大模型AI学习的四个阶段资料。

为什么微调之后，模型还是没学会新知识？
在有限的数据场景下如何构建出更高质量、更丰富的数据集？

这是最近我经常收到的两个大家对于大模型训练和数据集构建的问题。

微调后效果不佳，大概率还是数据集本身质量或者丰富度的问题。而在有限的数据下，如何构造出更丰富的数据集呢？今天我就跟大家来介绍一种数据集增强的新思路，以及如何在 Easy DataSet 中基于这种思路来构建更丰富的高质量数据集。

数据增强面临的问题

当前，大模型的训练高度依赖训练数据的规模与质量，但现实往往面临着两大矛盾：

数据稀缺性：高质量语料（如学术文献、专业文本）总量有限，公开数据集（如 C4、RefinedWeb ）经严格过滤后仅保留不到 10% 的原始内容，难以支撑模型的持续扩展和训练。
重复退化问题：在传统深度学习中，重复训练是可以继续提升模型性能的，但 LLM 训练中，过度重复会导致模型泛化能力下降、优化稳定性变差，尤其是参数规模超千亿的模型。

例如，当使用 1950 亿 tokens 的高质量数据训练 130 亿参数模型时，若直接重复 10 次，模型在推理任务（如 GSM8K 数学题）的准确率会下降 23%，验证损失上升 17%。这表明：数据重复并非简单的“量的补充”，而是需要质的多样性重构。

字节最新论文

字节跳动 Seed 团队最近发表了一篇论文：《Reformulation for Pretraining Data Augmentation》

其中提出了一种新的 Massive Genre-Audience（MGA） 方法，通过轻量级框架将现有语料系统重构为多样化变体，核心思路是：基于不同 “体裁（Genre）” 和 “受众（Audience）” 生成内容变体，在保留核心知识的同时创造语义丰富的新数据。

虽然论文主要是表述预训练的数据集增强，但其思路同样适用于在模型微调阶段的数据集构造。

MGA 介绍

“Massive Genre-Audience”（大规模类型-受众）是论文中提出的 MGA（Massive Genre-Audience Reformulation） 方法的核心概念，其含义可从以下两方面具体理解：

“Massive”的含义

大规模的多样性生成：指该方法通过系统设计，能够生成海量的内容变体。例如，论文中提到每次推理会生成 5 对“类型-受众”组合，使原始文档扩展为 5 个新文档，实现 3.9 倍的 Token 数扩展。
覆盖广泛的场景：强调其适用于大规模语料库的扩展，解决数据稀缺和重复问题，支持模型在数十亿参数规模下的高效训练。

“Genre-Audience”的含义

Genre（类型）：指内容的“知识表达框架”，通过多个维度定义，包括：
- 沟通目的（如教育、分析、叙事）；
- 内容结构（如分步教程、学术论文、对话体）；
- 语言风格（如严谨学术风、通俗故事风）；
- 知识深度（如初学者入门、专业研究者深度分析）。
  例如，将同一篇科普文章重构为“学术论文”或“儿童故事”，会采用不同的结构和语言风格，但保留核心知识。
Audience（受众）：指内容的目标读者群体，结合以下特征：
- 人口统计学因素（年龄、职业、教育背景，如“12-15岁中学生”“医学专业研究生”）；
- 知识背景与动机（如“对化学感兴趣的初学者”“需要教学素材的中学教师”）。
  例如，针对“办公室工作人员”的急救指南会侧重实用性和通俗表达，而针对“医学生”的版本则会包含更多专业术语和深度理论。

MGA方法的核心逻辑

通过“类型-受众”对驱动内容多样性：每个“类型-受众”组合定义了一种重构方向，使同一原始文本能以不同形式呈现（如将科学知识转化为面向儿童的故事、面向学者的分析报告等），从而避免数据重复，增强模型对不同场景的泛化能力。
轻量级与可扩展性：利用小模型自适应生成“类型-受众”对，无需依赖100亿参数以上的大型模型，降低计算成本，适合大规模语料库扩展。

“Massive Genre-Audience” 本质上是一种数据增强策略，通过系统化地生成海量“类型-受众”组合，将现有文本重构为多样化的变体，既保留核心信息，又覆盖不同表达形式和读者群体，对模型训练数据进行增强，从而提升模型性能。

MGA 的技术实现

在该论文中，MGA 的技术实现分为三个关键步骤：

阶段1：Genre-Audience对生成
利用 3.3B 参数的混合专家模型（MoE），从原始文档中自适应提取5组不同的体裁-受众组合。例如，一篇科普文章可被映射为 “学术论文-科研人员”、“对话体-老年人”、“教科书-中学生” 等组合，每个组合定义内容的表达框架（如结构、语言风格、知识深度）和受众特征（如年龄、教育背景、专业领域）。
阶段2：文本重构
使用量化后的轻量级工具模型，根据每对 Genre-Audience 的要求重构文本。例如，将 “气候变化” 原始文本重构为面向小学生的对话体故事时，会简化术语、增加具象案例；重构为学术报告时，则强化数据论证和理论框架。
质量控制：Limited Consistency准则
引入 LLM 裁判模型，以 “有限一致性” 为标准评估重构文本：允许风格、表达顺序的差异，但要求核心信息可追溯至原始文本。例如，若重构文本丢失所有原始信息点或语义偏差过大，则判定为无效（评分<3）。

论文中的框架将 1950亿 tokens 的 FineWeb-Edu 数据集扩展为 7700亿 tokens 的 MGACorpus，token 数量扩大 3.9 倍，且每个原始文档生成5个语义不同的变体。

相比现有数据增强方案（如 Phi-4、Cosmopedia），MGA 的核心优势在于：

不依赖超大模型：无需 120 亿参数以上的生成模型（如GPT-4），仅用 3.3B MoE 模型即可实现高质量重构，计算成本降低 40%。
免复杂种子系统：传统方法需预定义种子模板（如QA对、维基风格），而 MGA 直接从原始文本动态生成 Genre-Audience 对，避免人工设计的局限性。

平衡多样性与保真度：通过 prompt 工程调节“信息保留”与“内容变异”的权衡。例如，严格模式（SLM-Strict）要求 80% 以上核心信息保留，适合知识密集型任务；宽松模式（SLM-Relaxed）允许更多创意扩展，适合泛化能力训练。

MGA 的实证效果

实验表明，使用 MGA 思路增强的数据集训练模型，在数据受限场景下显著优于传统方案：

跨模型规模的一致性提升：在13亿到130亿参数模型中，MGA-Expansion 方案较原始数据训练的基线模型：

推理任务（如TriviaQA、GSM8K）准确率提升 2.03%-15.47%，例如17亿参数模型在 GSM8K 的解题率从 7.81% 提升至 13.87%；
知识任务（如 MMLU-Pro ）得分提升 2.15%，表明多样化重构帮助模型捕捉知识的多维度表达；
抗重复能力：当原始数据重复10次时，基线模型验证损失上升0.25，而MGA处理后损失仅上升0.08。

与其他合成数据的对比：对比 Cosmopedia、Nemotron 等方案，MGA 在 377M 参数模型上的平均性能（37.28）超越 Cosmopedia（35.57）和多数 Nemotron 策略（如“知识提取”35.72）。其核心原因在于：

Genre-Audience驱动的多样性：每个原始文本生成5种不同体裁和受众的变体，如“医学指南”可重构为“医生学术报告”“患者科普手册”“医学院教材”等，覆盖不同语言风格和知识深度，避免合成数据的模式坍塌。
领域适应性：在数学（Open-Web-Math）、编程（Python-Edu）等专业领域，MGA 重构数据使 17 亿参数模型的验证损失分别降低 0.12 和 0.09，而传统重写方法（如WRAP）效果有限。

为什么 MGA 能提升模型学习效率？

MGA 的有效性源于对 LLM 学习机制的三点优化：

对抗数据重复导致的“记忆偏差”：原始数据重复会使模型过度记忆特定表达形式（如网页模板、固定句式），而MGA通过体裁变异（如从说明文到对话体）打破这种模式，迫使模型学习抽象语义。例如，在FineWeb-Edu数据中，原始文本结尾常包含“选择网站”的标准化提示，重复训练会使模型在该位置的预测损失降低22%，但MGA重构后，模型在该类噪声位置的损失反而上升，表明其更关注内容本身而非格式。
促进“泛化性学习”而非“特异性记忆”：实验发现，使用MGA数据训练的模型在真实数据（如FineWeb-Edu）上的验证损失略高，但在外域任务（如ARC科学推理）上表现更优。这是因为模型优先学习跨体裁的通用模式，而非记住特定数据集的分布特征。
缓解“合成数据坍塌”问题：传统合成方法易因种子模板有限导致数据分布偏移（如QA对格式同质化），而MGA通过动态生成Genre-Audience对，使合成数据的嵌入分布与原始数据保持重叠但扩展（如t-SNE可视化中，Base模型生成的变体既覆盖原始数据簇，又延伸至新区域）。

在 Easy Dataset 中使用 MGA 对数据集进行增强

Easy Dataset 是一个专为创建大型语言模型数据集而设计的应用程序。通过 Easy Dataset，你可以将领域知识转化为结构化数据集，兼容所有遵循 OpenAI 格式的 LLM API，使数据集构造过程变得简单高效：

https://github.com/ConardLi/easy-dataset

在 Easy Dataset 1.3.6 版本中，引入了上述论文中提到的 MGA 数据增强方案。

我们正常创建一个用于测试 MGA 的新项目：

配置好模型后，在文献处理模型上传一些文献：

默认情况下，直接生成问题和数据集不会采用 MGA 增强方案。

我们可以针对特定需要启用 MGA 的文献来生成 Genre（类型）、Audience（受众） （GA）对：

GA 对可以由 AI 自动生成（基于文献关键内容进行提取），也可以手动添加：

选择 AI 自动生成，会默认生成 5 个 GA 对：

你可以对自动生成的 GA 对进行选择启用，自定义变更，或者删除操作：

点击保存后，文献列表处将展示文献已经生成的 GA 对：

如果文献较多，你也可以选择为所有文献批量生产 GA 对。

对于已生成 GA 对的文献，可选择是追加模式还是覆盖模式：

生成完成后，点击文献列表处的 GA 标签，依然可以查看文献的 GA 详情：

在文献启用 MGA 模式（已经生成了 GA 对）后，后续再基于该文献构造问题和数据集都将基于文献下的所有 GA 进行生成：

在默认 240 字符生成一个问题的设置下，对于 1500 字左右的文本块，基础模式下将生成 6 个问题，但是在生成了 5 个 GA 的情况下将生成 30 个问题。

注意：启用 MGA 模式后生成的问题和数据集数量相比之前会成倍增长，所以会消耗更多的 Token，以及使数据集生成速度变慢。

例如在幽默科普型（对技术感兴趣的中学生）GA 下：

生成的一个数据集样例为：

后续优化思路

在项目配置中支持配置全局 GA ，默认为所有文献启用该 GA
在问题管理、数据集管理中展示关键的 GA Pair、批量生成GA对添加进度条
扩展 GA 对的结构以支持更多字段
MGA 论文中提到了使用 LLM Judger 来评估生成内容的质量，后续可以考虑实现一个评估系统和过滤系统，来判断生成的数据集是否符合预期并过滤并且清除掉得分较低的内容。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述