A SURVEY ON POST-TRAINING OF LARGE LANGUAGE MODELS——大型语言模型的训练后优化综述——第8部分——数据

最新推荐文章于 2025-12-30 11:07:07 发布
原创 最新推荐文章于 2025-12-30 11:07:07 发布 · 651 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#语言模型 #人工智能 #深度学习

8 数据集

后训练技术被精心设计以提高LLMs对特定领域或任务的适应性，而数据集则是这一优化过程的基石。对先前研究[457, 82]的仔细审查强调了数据的质量、多样性和相关性如何深刻影响模型的有效性，并经常决定后训练努力的成功与否。为了阐明数据集在此背景下的关键作用，本文提供了对后训练阶段所使用数据集的一个全面回顾和深入分析，并根据其收集方法将它们分类为三种主要类型：人工标记数据、提炼数据和合成数据。

这些类别反映了数据管理中的不同策略，模型可能采用单一方法或结合多种类型的混合方法来平衡可扩展性、成本和性能。表9提供了这些数据集类型的详细概览，包括它们的来源、规模、语言、任务以及后训练阶段（如监督微调SFT和基于人类反馈的强化学习RLHF）。在后续部分中，我们将探索它们在提升LLM能力方面的贡献与挑战。

8.1 人工标记数据集

人工标记数据集以其卓越的准确性和上下文保真度著称，这些属性源于标注者对任务复杂性的细致理解及其进行精确、上下文敏感调整的能力。这些数据集是细化指令微调的基石，通过提供高质量、专家精心策划的训练信号，在多样化的任务中显著提升LLM的表现。在此类别中，Flan[17]、P3（公共提示池）[459]、Sup-Natinst（超级自然指令）[462]和Dolly-15K[468]等著名范例作为LLM后训练中广泛采用的资源脱颖而出，每个资源都通过人类专业知识为优化模型能力贡献了独特的优势。

人工标记数据在SFT阶段的应用

在SFT（监督微调）阶段，人工标记数据集发挥着不可或缺的作用，Flan、Sup-Natinst和Dolly-15K的贡献表明了这一点，它们提供了精心设计的提示-响应对和特定任务的指令，以提升LLM在各种自然语言处理基准测试中的效能。

  • Flan。Flan数据集[17]是一个基础资源，最初包含了62个广泛认可的NLP基准测试——如HellaSwag[482]、MRPC[483]和ANLI[484]——通过其180万个示例促进英语中的强大多任务学习。最近，FlanV2[34]作为一个先进的迭

最低0.47元/天 解锁文章
A SURVEY ON POST-TRAINING OF LARGE LANGUAGE MODELS——大型语言模型的训练后优化综述——第一部分
Awangjingaaa的博客
03-15 2308
大型语言模型（LLMs）的进步构成了自然语言处理（NLP）中的一个关键章节，而后训练方法作为其从通用预训练架构到特定任务自适应系统的演进中的重要催化剂。本节概述了后训练语言模型（PoLMs）的历史轨迹，追溯了它们从BERT [2] 和GPT [1] 等基础预训练里程碑发展到当代如o1 [41] 和DeepSeek-R1 [28] 等先进后训练范式的历程。图3所示的这一进程反映了从建立广泛的语言能力到增强任务特定适应性、伦理对齐、推理复杂性以及多模态集成的转变，标志着LLM能力的一次变革之旅。
A SURVEY ON POST-TRAINING OF LARGE LANGUAGE MODELS——大型语言模型的训练后优化综述——第2部分
Awangjingaaa的博客
03-15 1131
RM1（显式或隐式奖励模型）RM2（点奖励或偏好概率模型）RM3（响应级或令牌级奖励）RM4（正向或负向奖励模型）F（反馈类型：人类或AI）RL1（参考模型或无参考模型的RL）RL2（在线策略或离线策略RL）O（在线/迭代或离线/非迭代优化）通过对这些指标的评估，可以帮助研究人员和实践者根据特定需求选择最适合的对齐方法。这些方法各自具有不同的特点，可以根据应用场景的不同要求进行调整和应用。奖励训练 (Reward Training)
A Survey On Post-Training of Large Language Models——大型语言模型的后训练综述
Together_CZ的博客
10-16 1067
A Survey On Post-Training of Large Language Models——大型语言模型的后训练综述
A Survey of Large Language Models大模型综述论文章节总结
weixin_45320238的博客
10-17 2397
这篇论文出自于中国人民大学，全面回顾了大型语言模型 (LLM) 的最新进展，重点关注其发展背景、关键发现和主流技术。
A SURVEY ON POST-TRAINING OF LARGE LANGUAGE MODELS——大型语言模型的训练后优化综述——第10部分——开放问题和未来方向
Awangjingaaa的博客
03-17 1128
在本节中，我们批判性地评估了大型语言模型（LLMs）后训练方法中的未解决问题和潜在发展轨迹，分析基于OpenAI的o1 [41] 和DeepSeek-R1 [28] 的发布所带来的变革性进展。这些模型利用大规模强化学习（RL），重新定义了推理基准，但它们的出现放大了后训练技术中持续存在的局限性的紧迫性。以下小节概述了六个关键的开放问题，每个问题都强调了其对领域发展的至关重要性和解决的紧迫性，以及推动未来研究并确保LLMs在多样化应用中负责任发展的可行策略。
A Survey of Large Language Models（个人笔记）
RSociopath的博客
07-31 788
After instruction tuning, LLMs can demonstrate superior abilities to generalize to unseen tasks [28, 62, 64], even in a multilingual setting” (Zhao 等, 2023, p. 19) 经过指令调整后，LLMs可以表现出优越的泛化能力，即使在多语言环境下，也可以泛化到未见过的任务[ 28、62、64 ]
A SURVEY ON POST-TRAINING OF LARGE LANGUAGE MODELS——大型语言模型的训练后优化综述——第9部分——应用
Awangjingaaa的博客
03-18 1187
尽管预训练为大型语言模型（LLMs）赋予了强大的基础能力，在现实世界的应用中，这些不足显得尤为重要，因为在这些场景中，精确性、可靠性和伦理一致性是至关重要的。这些问题引发了一些根本性的探讨：(1) 如何系统地提高LLM的表现以满足特定领域的需求？(2) 在实际应用环境中，有哪些策略可以有效缓解内在的实际障碍？后训练成为了一个关键解决方案，通过改进LLMs对特定领域术语和推理模式的识别来增强其适应性，同时保持其广泛的竞争力。
大模型技术讲解：大模型训练的数据
Python_cocola的博客
07-03 3316
大模型的训练数据通常是大规模的文本语料库，这些语料库包含了大量的文本数据，用于训练大型语言模型，如OpenAI的GPT-3和谷歌的PaLM。：训练数据的大小通常在数十亿到数千亿个 tokens（单词、标点符号或其他语言单位）之间。例如，GPT-3的训练数据包含了约1750亿个tokens。：训练数据通常来自各种不同的来源，包括书籍、文章、网页、对话等，以确保模型能够学习到各种不同的语言用法和知识。
The Flan Collection: Designing Data and Methods for Effective Instruction Tuning
没有期待的日子反而会顺顺利利
03-16 1065
研究了公开可用的指令调优方法的设计决策，并分解了Flan 2022模型。通过对指令调优任务和方法的Flan集合的仔细研究，我们梳理了设计决策的影响，使FlanT5在评估设置中优于之前的工作3-17%以上。我们发现任务平衡和丰富技术被忽视了，但对有效的指令调优至关重要；特别是，混合提示设置(zero-shot、few-shot和思想链)的训练实际上在所有设置中都能产生更强的(2%以上)性能。在进一步...
R1/o1/o3等LRM火热背后，微调、推理等LLM后训练方法，看这篇综述够了 |最新
强化学习曾小健
03-13 1220
我们可以看到，从2018年BERT和GPT的出现，到2022年ChatGPT的爆发，再到2025年DeepSeek-R1和o3等大型推理模型的兴起，后训练技术经历了从简单微调到复杂推理增强的质变。这一结构图不仅清晰展示了后训练技术的全貌，还揭示了技术、数据和应用之间的内在联系，为工程师提供了系统性的技术选择和应用指南。这篇文章对于未来几年都很重要。随着GPT-3的发布，后训练技术迎来了快速发展期，各种方法层出不穷：从针对特定任务的微调，到确保模型与人类偏好一致的对齐策略，再到增强模型推理能力的技术。
【通览一百个大模型】FLAN（Google）
夏栀的博客
07-08 2102
主要介绍FLAN大模型
GopherLua终极指南：快速掌握Go语言中的Lua虚拟机
gitblog_00508的博客
12-09 273
GopherLua是一个功能强大的Lua 5.1虚拟机，完全使用Go语言编写。它为Go开发者提供了在应用程序中嵌入脚本语言的完美解决方案，让你能够轻松扩展应用功能。无论你是想要为应用添加动态配置能力，还是构建插件系统，GopherLua都是理想的选择。 ## 🚀 什么是GopherLua？ GopherLua不仅是一个Lua虚拟机，更是一个完整的编译器，支持Lua 5.1语法和Lua 5.2
Instruction Tuning（FLAN、instructGPT、chatGPT）
热门推荐
nakaizura
12-10 2万+
首页最近被chatGPT刷屏，但翔二博主左看右看发现很多想法似乎都是一脉相通的，于是连夜从存档中找了一些文章尝试理一理它的理论路线。博主个人理解，它以更为embodied AI形式的指令作为输入，以训练/微调大规模的信息模型，并基于强化学习与真实世界做持续交互，已经很接近此处所提到的“数字超人”了。
Instruction Tuning：无/少样本学习新范式
Kaiyuan_sjtu的博客
02-17 2887
作者|太子长琴整理|NewBeeNLP大家好，这里是NewBeeNLP。今天分享一种简单的方法来提升语言模型的 Zero-Shot 能力——指示（或指令）微调（instruction tuning） ，在一组通过指示描述的数据集上对语言模型微调，大大提高了在未见过任务上的 Zero-Shot 能力。模型 137B，在超过 60 个使用描述模板描述的数据集上微调。FLAN 在 20/25 ...
香港科技大学发布Audio-FLAN：全球首个音频版“GPT
至顶AI实验室
08-20 947
它为我们展示了一个未来的愿景：一个能够像人类一样灵活处理各种音频任务的AI助手，它不仅能听懂我们说什么，还能理解我们的情感，甚至能够根据我们的需要创造出美妙的声音。在智能助手领域，未来的语音助手不仅能够理解用户的语音指令，还能分析用户的情感状态，甚至根据需要生成个性化的音频内容。研究团队发现了这个问题的根源：现有的音频AI模型就像专业的单一技能工匠，有的只会转录语音，有的只会识别音乐风格，有的只会生成简单的声音效果。这种规模的提升不仅仅是数量上的增长，更重要的是为训练真正通用的音频AI模型提供了可能。
应用于需求生成的大模型调研
ikun568435976的博客
03-31 1870
大模型是由亿级别参数构成的深度神经网络，具有处理高维度数据和学习复杂模式的能力。这些模型通过深度学习技术，如卷积神经网络（CNN）、循环神经网络（RNN）、以及近年来兴起的Transformers，能够在海量数据集上进行自我迭代学习，从而达到前所未有的准确度和效率。特别是在自然语言处理（NLP）、图像识别、语音识别等领域，大模型已经成为了实现人工智能突破性进展的关键。伴随着算法的创新、计算力的大幅提升及数据可获取性的增加，大模型技术正在开辟新的应用领域，推动人工智能技术朝着更加智能化的方向发展。
【LLM系列之FLAN-T5/PaLM】Scaling Instruction-Finetuned Language Models
yanqianglifei的专栏
05-08 1800
研究已经证明，在一组表述为指令的数据集上微调语言模型可以提高模型性能和对未知任务的泛化能力。(1)缩放任务数量；(2)缩放模型大小；(3)链式思维数据微调；论文发现，在上述方面进行指令微调可以显着提高各种模型（PaLM、T5、U-PaLM）、提示设置（零样本、少样本、CoT）和评估基准（MMLU、BBH、 TyDiQA、MGSM、开放式生成、RealToxicityPrompts）。
Math - 中心化，标准化和归一化
最新发布
guoqx的专栏
12-30 488
摘要：归一化是将数据转换为统一尺度的处理方法，消除量纲差异，便于比较与分析。常见方法包括Min-Max缩放（线性映射到固定区间）和Z-score标准化（均值0，标准差1）。Min-Max适用于需要固定范围的情况，但对异常值敏感；Z-score适用于单位不同或存在离群值的场景。归一化在数据分析、信号处理和机器学习中广泛应用，需根据数据分布和算法需求选择合适方法，并注意保存参数以确保一致性。流程包括数据清洗、方法选择、拟合转换和效果评估。
大型视觉-语言模型攻击综述：资源、进展与未来趋势
本文《A Survey of Attacks on Large Vision-Language Models: Resources, Advances, and Future Trends》是一篇系统性的综述论文，专注于近年来在大型视觉-语言模型（Large Vision-Language Models, LVLMs）上实施...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值