Unnatural Instructions: Tuning Language Models with (Almost) No Human Labor

最新推荐文章于 2025-11-26 21:22:25 发布
最新推荐文章于 2025-11-26 21:22:25 发布
阅读量884 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/133863773
LLM 日更 专栏收录该内容
828 篇文章

已下架不支持订阅

本文介绍了一个名为非自然指令的大型数据集，它使用语言模型生成多样化的指令，几乎不需要人工劳动。通过对模型进行训练，结果显示在非自然指令上的训练效果可与人工注释数据集相媲美，甚至在多个基准测试中超越现有模型。这种方法具有成本效益，产生的指令具有高多样性和创造性，为未来的研究提供了新方向。

本文是LLM系列文章，针对《Unnatural Instructions: Tuning Language Models with (Almost) No Human Labor》的翻译。
@TOC

摘要

指令调优使预训练的语言模型能够从推理时间的自然语言描述中执行新的任务。这些方法依赖于以众包数据集或用户交互形式进行的大量人工监督。在这项工作中，我们介绍了非自然指令:一个创造性和多样化指令的大型数据集，几乎没有人工劳动。我们收集了64,000个例子，通过提示一个语言模型，其中包含三个指令的种子例子，并引出第四个。然后通过提示模型重新表述每个指令来扩展该集合，创建总计约240,000个指令、输入和输出示例。实验表明，尽管包含了相当数量的噪声，但在非自然指令上的训练可以与在开源人工管理数据集上的训练相媲美，在各种基准测试中超过了T0++和Tk-Instruct等模型的性能。这些结果证明了模型生成数据作为一种经济有效的方法的潜力替代众包的数据集扩展和多样化。

1 引言

2 数据收集

3 数据分析

4 实验设置

5 结果

6 生成模型消融

7 相关工作

8 结论

我们介绍了非自然指令，这是一个自动生成的自然语

了解本专栏 已下架不支持订阅
UnknownBody
关注
专栏目录

已下架不支持订阅

【大模型】大语言模型简介
AI天才研究院
04-03 2万+
因此，模型规模增长是必然趋势，当推进大模型规模不断增长的时候，涌现能力的出现会让任务的效果更加出色。有趣的是，当参数规模超过一定水平时，这些扩大的语言模型不仅实现了显着的性能提升，而且还表现出一些小规模语言模型所不具备的特殊能力。如 Google 发布的多模态具身视觉语言模型 PaLM-E，由540B 的 PaLM 文本模型和 22B 的 VIT 图像模型构成，两者集成处理多模态信息，所以它的总模型规模是 566B。随着模型规模的不断增长，任务效果也持续增长，说明这类任务对大模型中知识蕴涵的数量要求较高。
ACL2023：LLM相关论文总结
weixin_52171642的博客
07-17 3161
上下文学习（ICL）通过在推理时简单地演示少量的例子来提高语言模型在各种NLP任务中的表现。人们对ICL能力出现的原因不是很了解，因为模型从来没有在这种演示上进行过专门的训练。与之前探索ICL背后的隐性机制的工作不同，我们通过调查预训练数据来研究ICL。具体来说，我们首先采用一种迭代的、基于梯度的方法来寻找支持ICL的一小部分预训练数据。我们观察到，在这个小的子集上继续进行预训练可以显著提高模型的ICL能力，提高幅度高达18%。
总结当前开源可用的Instruct/Prompt Tuning数据
Kaiyuan_sjtu的博客
06-07 440
作者|李雨承单位|英国萨里大学研究方向|ConceptualReasoning最近在做大模型的尝试和评测，之前写了一篇总结可用大模型的文章，反响很好，有很多有价值的反馈：https://zhuanlan.zhihu.com/p/611403556本文总结开源可用的 Instruct Prompt 数据（截止19.03.2023）。Natural Instruction/Super...
不用再找了，这是大模型实践最全的总结
机器学习社区
12-19 2664
随着ChatGPT的迅速出圈，加速了大模型时代的变革。对于以Transformer、MOE结构为代表的大模型来说，传统的单机单卡训练模式肯定不能满足上千（万）亿级参数的模型训练，这时候我们就需要解决内存墙和通信墙等一系列问题，在单机多卡或者多机多卡进行模型训练。最近，我也在探索大模型相关的一些技术，下面做一个简单的总结，后续争取每一个季度更新一次，本文主要涉及AI集群、AI集群通信、大模型训练（参数高效微调）、大模型推理加速、大模型评估、大模型生态相关技术等相关内容.同时，也对之前写过的一些大模型相关的文章
unnatural-instructions：自动生成指令数据集，助力语言模型训练
gitblog_00171的博客
04-08 531
unnatural-instructions：自动生成指令数据集，助力语言模型训练 项目介绍 在自然语言处理领域，指令生成是训练语言模型的关键一环。unnatural-instructions 是一个独特的开源数据集，它包含由大型语言模型自动生成的指令。该数据集为研究者和开发者提供了一个强大的工具，可以在几乎不需要人工劳动的情况下，对语言模型进行微调。这一创新性的成果在论文《Unnatural I...
一文速览大型语言模型在图文多模态中的应用
zenRRan的博客
04-28 1955
©作者｜都一凡机构｜中国人民大学高瓴人工智能学院导师 | 赵鑫教授研究方向 |多模态来自 | RUC AI Box2022年底，随着ChatGPT的诞生，大型语言模型（LLM）开始大放异彩，并在越来越多的领域中得到应用。然而，LLM通常只在纯文本语料上训练，缺乏对视觉信号的感知能力，因此如何将LLM的能力迁移到图文多模态领域成为一个热门话题。本文将介绍LLM应用在图文多模态领域的几个典型工作。...
笔记-《A Survey of Large Language Models》- 尾声
Working harder, getting stronger!
03-27 2479
Sutton, S.Schuh, K.Lomeli, L.Mann, E.Perez, N.5547–5569.[Online].[152] J.Austin, A.Odena, M.I.Nye, M.353–355.[177] P.V.ACM, 2022.559–578.Drain, S.Fort, D.4582–4597.Yih, Eds.8410–8423.[240] Q.Zhang, M.Chen, A.He, Y.Cheng, W.
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 254
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
三大空间信息焕新：辉视让酒店服务、教育通知、监所管控更智能高效
CalebLXL的博客
11-24 499
走访这些场所后我发现，系统的真正价值不在于那些炫目的屏幕，而在于它构建了一套"空间信息免疫系统"——就像人体淋巴网络般，能智能识别各区域的信息需求，精准输送"营养"，快速清除"毒素"。当我们在酒店大堂不再错过末班机场大巴，在学校走廊偶遇恰好需要的竞赛通知，甚至在高墙内获得规整的信息权时，或许该重新思考：所谓智能化，本质是对空间信息代谢效率的一次外科手术式改造。这种荒诞的割裂感，正是传统信息分发模式崩溃的缩影——直到我最近走访数家采用辉视系统的场所，才意识到我们早已进入"精准信息触达"的新纪元。
（116页PPT）关于5G和新基建赋能智慧工地整体解决方案（附下载方式）
2501_92808811的博客
11-25 317
在整体架构方面，方案以“5G智慧工地平台”为核心，依托多类感知设备（如传感器、摄像头、AI眼镜、智能安全帽等）采集数据，通过5G网络实时回传至云平台，再借助大数据、云计算、人工智能等技术进行分析处理，最终在PC、手机、监控大屏等多终端进行可视化展示。此外，文件还详细列举了传统智慧工地子系统（如深基坑监测、升降机监控、扬尘噪音监测、智能水电计量等）的功能与部署方式，并补充了如5G企业专网、实测机器人、智慧科技体验中心等延伸应用，体现出方案的系统性与前瞻性。详细资料请看本解读文章的最后内容。
信息检索13
2301_80828873的博客
11-26 588
最近邻检索的方法，PQ，IVF,HNSW
中国计算机学会（CCF）推荐学术会议-A（人工智能）：ACL 2026
iaast的博客
11-24 449
大会官网：https://2026.aclweb.org/录用率：20.3%（1699/8360，2025年）时间地点：2026年7月2日-加州·美国。截稿时间：2026年1月5日。CCF推荐：A（人工智能）
RAG 的诞生：为了让 AI 不再“乱编”
weixin_44876263的博客
11-24 489
RAG全称，中文为“检索增强生成”。其核心思想是：在生成答案时，不仅依赖大模型内部的训练知识，还能够实时访问外部知识库或文档，从而生成更加准确和可靠的内容。就像一个学生回答问题，不仅依靠自己记忆，还会去图书馆查资料，然后结合记忆和查到的资料回答问题。你问模型：“请告诉我最新的新能源补贴政策。纯模型可能只靠训练记忆，回答的是过时或模糊的信息。RAG 模型会先去查最新政策文件，再结合训练知识生成答案，因此更准确。检索资料：先找到相关文档或信息。结合生成：把找到的资料和问题一起输入模型，让模型生成答案。
【LoRA（低秩适应）技术详解：原理、公式与实践】
m0_46882548的博客
11-26 555
参数高效：可训练参数量通常仅为全量微调的0.01% - 3%，极大降低了计算和存储成本。内存友好：由于大部分原始权重被冻结，无需存储其优化器状态，显著减少了训练时的显存占用。无推理延迟：训练后可将LoRA权重合并回原模型，推理速度与原始模型一致。模块化与灵活性：一个基础模型可以搭配多个针对不同任务的、体积很小（几兆字节）的LoRA适配器，轻松切换任务。减轻灾难性遗忘：因为原始权重基本不动，模型在适应新任务时更不容易遗忘预训练时获得的通用知识。
【NullSwap】NullSwap: Proactive Identity Cloaking Against Deepfake
人生不是轨道，是旷野。希望每天都有好心情。
11-23 325
由于生成模型的进步，被动检测高质量Deepfake图像的性能瓶颈，主动扰动提供了一种有前途的方法，通过将信号插入良性图像来禁用Deepfake操作。【生成模型的发展，使得生成高质量伪图越来越难被检测】然而，现有的主动扰动方法在以下几个方面仍然不能令人满意：【当前主动扰动存在的问题】1）由于直接元素添加而导致的视觉退化;2）对交换操纵的有效性有限;3）不可避免地依赖于白盒和灰盒设置，以在训练期间涉及生成模型。我们分析了深度伪造swap技术的本质，并论证了保护源身份而非目标图像的必要性。
EAGLE-2：通过动态草稿树加速语言模型推理
11-24 103
现代 Large Language Models（LLMs）的推理过程既昂贵又耗时，而 speculative sampling 已被证明是一种有效的解决方案。大多数 speculative sampling 方法（例如 EAGLE）使用静态的 draft tree，并默认 draft token 的接受率仅依赖于其位置。有趣的是，我们发现 draft token 的接受率也依赖于上下文。本文在 EAGLE 的基础上提出了，该方法引入了一种新的技术用于 draft 建模。
强化学习人形机器人奖励函数分析
ModestCoder_的博客
11-23 1046
PPO (Proximal Policy Optimization) 是一种 Actor-Critic 架构算法。奖励函数是整个学习过程的指挥棒。学习预测未来的累积回报（Return）。用于处理物理限制的软约束，形式通常为单边损失（Hinge Loss）。，作为 Cost/Penalty 使用，用于约束能量和保持稳定。以下是代码中各个奖励项的数学表达及其物理含义分析。形式，旨在最大化机器人对指令的跟随精度。这种设计是现代机器人控制领域的标准范式。形式，在总奖励计算中通常会被赋予。
教你使用服务器搭建一款一款端到端的开源 OCR 模型GOT-OCR2.0
m0_69484557的博客
11-25 148
GOT-OCR2.0 是一款真正专业级、可落地的端到端开源 OCR 模型，它让文档识别变得更智能、更精准、更高效。当你将它部署在莱卡云服务器上后，就拥有：一个稳定的 OCR 服务平台一个云端智能识别中心一个支持批量处理的高效工具一个可扩展的文档自动化系统。
分布式AI训练框架设计与多语言实现实践指南
最新发布
2501_94187056的博客
11-26 145
加速训练：多节点协作处理大规模数据和模型参数。资源优化：充分利用GPU/TPU和计算集群资源。可扩展性：可根据数据规模或模型复杂度扩展计算节点。多语言协作：不同模块可使用适合的语言实现，提高灵活性和性能。本文展示了分布式AI训练框架的设计与多语言实现实践：Python负责训练与分布式管理Go负责任务调度与节点管理Java处理异步参数同步C++完成计算密集型梯度计算架构整合多节点资源，实现高效分布式训练。
Unnatural Language Processing：探索非自然语言的奥秘
"Unnatural Language Processing" 是一本探讨非自然语言处理领域的书籍，作者是Al Aho，他在NAACLHLT2009会议上做了主题演讲。这本书可能涉及到如何利用自然语言处理（NLP）和程序语言处理（PLP）来解决软件开发中的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值