Instruction finetuning

原创 已于 2023-07-16 10:49:30 修改 · 303 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能

于 2023-07-13 17:13:14 首次发布
FLAN-T5是谷歌提出的一种新的微调框架，它扩展了T5模型的能力，通过统一的输入输出格式和chain-of-thought机制，使得一个模型能处理超过1800种NLP任务，提升了模型的泛化性能。该框架降低了任务迁移的成本，展示了通用语言模型的巨大潜力。

Instruction finetuning

---

T5，Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer，2019

arxiv https://arxiv.org/abs/1910.10683
中译 T5: Text-to-Text Transfer Transformer 阅读笔记 - 知乎
讨论 如何评价 Google 提出的预训练模型 T5？ - 知乎

---

FLAN-T5,

文献阅读：Scaling Instruction-Finetuned Language Models_Espresso Macchiato的博客-优快云博客

谷歌FLAN-T5作者亲讲：5400亿参数，1800个任务，如何实现大语言模型“自我改进”

 

Flan-T5: One Model for ALL Tasks - 知乎

提出了Flan的微调框架:  统一的输入输出格式（4种类型），引入chain-of-thought，大幅提高任务数量，大幅提高模型规模.

实现了用一个模型来解决超过1800种几乎全部的NLP任务，通过较低的成本，极大发掘了现有语言模型的泛化性能，让大家看到了通用模型的希望，即One Model for ALL Tasks。

【LLM系列之FLAN-T5/PaLM】Scaling Instruction-Finetuned Language Models - 知乎

文献阅读：Scaling Instruction-Finetuned Language Models_Espresso Macchiato的博客-优快云博客

---

斯坦福ChatGPT: Prompting, Instruction Finetuning, and RLHF（二）
大模型与Agent智能体
03-07 441
斯坦福ChatGPT: Prompting, Instruction Finetuning, and RLHF（二）
斯坦福ChatGPT: Prompting, Instruction Finetuning, and RLHF
大模型与Agent智能体
02-25 2043
在2019年，OpenAI推出了GPT-2，是GPT的升级版本，它拥有更多的参数和更多的训练数据，以提高语言生成和理解的能力。GPT-2拥有1.5B个参数，是GPT-1的十倍，并且使用了比GPT-1更大的数据集——40GB的WebText，这是从Reddit网站上抓取的链接数据集，其中每个链接至少获得3个赞。在GPT-1之后，OpenAI又推出了更大的版本，例如GPT-2和GPT-3，它们分别拥有1.5B和175B个参数，并在自然语言生成和理解方面取得了惊人的成果。记忆是愉快的，尽管情况如此。
指令微调（Instructional Fine-tuning）
qq_36485259的博客
03-12 4875
指令微调（Instructional Fine-tuning）是一种自然语言处理（NLP）技术，特别是在大型预训练语言模型（如 GPT、BERT 等）的应用中。在指令微调中，模型被进一步训练以更好地理解和遵循人类给出的指令或命令。这种方法可以提高模型在特定任务上的性能，使其能够根据给定的指令生成更准确的结果。
大模型微调学习之旅④ — XTuner 大模型单卡低成本微调实战
HOOK1的博客
01-13 4481
图解：Alpaca 格式，斯坦福大学开源数据集的格式，也是社区开源项目使用较多的一种格式MOSS 格式，复旦大学开源指令微调数据集的格式，包含多轮对话和工具调用Gunacao 格式，QLoRA 项目中所使用数据集的格式OpenAI 格式，GPT-3.5-Turbo Finetune 接口要求的数据集格式。
【人工智能】微调的艺术：将大模型塑造成你的专属智能助手
一个被知识诅咒的人
05-17 918
大语言模型（LLM）的通用能力令人惊叹，但要使其成为特定场景下的专属助手，微调（Fine-tuning）是关键。本文以“微调的艺术”为主题，深入探讨如何通过指令微调（Instruction Tuning）、强化学习（RL）、参数高效微调（PEFT）等技术，将通用大模型转化为高效的专属工具。结合大量Python代码示例、数学公式和中文注释，展示从数据准备到模型部署的完整微调流程，覆盖文本生成、代码生成和多模态任务等应用场景。文章还分析了微调中的挑战（如过拟合、灾难性遗忘）及2025年的技术趋势，为开发者提供实
一文搞懂LLM大模型！LLM从入门到精通万字长文（2024.12月最新）
热门推荐
qq_45591302的博客
07-12 2万+
LLM大模型从入门到精通
LLM微调
07-16 2881
prefix-tuning的中文表达是前缀微调，在实现时，prefix-tuning是在PLM前部拼接一小段可学习的向量(virtual tokens)作为Prefix（这里的“前部”是指PLM网络结构每一层的前部，拼接后，PLM网络的层数是不变的）， 且在微调模型的过程中只优化拼接的Prefix，而不需要优化整个模型的参数（训练的时候只更新Prefix部分的参数，而PLM中的其他部分参数不更新）。举个例子，在情感分类任务中，我们要判断“《功夫》这个电影是周星弛主演的，无厘头式的幽默，我很喜欢。
【论文笔记】NEFTune: Noisy Embeddings Improve Instruction Finetuning
小嗷犬的博客
01-05 1285
我们表明，通过简单的增强，语言模型微调可以得到改进，有时甚至可以显著提高。NEFTune在训练过程中向嵌入向量添加噪声。使用Alpaca对LLaMA-2-7B进行标准微调，在AlpacaEval上的成绩为29.79%，而使用带噪声的嵌入时，成绩上升至64.69%。NEFTune在现代指令数据集上也优于强大的基线。使用Evol-Instruct训练的模型提高了10%，ShareGPT提高了8%，OpenPlatypus提高了8%。
指令微调（Instruction Fine-Tuning）与微调FineTuning的区别（Instruction Fine Tuning）
Dontla的博客
01-02 1880
与传统的微调（Fine-Tuning）侧重于特定任务或领域不同，指令微调专注于提升模型对各种自然语言指令的响应效果，使其在更广泛的应用场景中表现得更加准确和可靠。指令微调是一种有效的方法，通过针对性的训练，使预训练语言模型在理解和执行用户指令方面表现得更加出色。随着指令微调技术的不断发展，未来的语言模型将在更多领域展现出更强大的能力，为用户提供更加精准和高效的服务。指令微调是一种专门的微调技术，通过在大量包含指令和相应响应的数据集上训练模型，使其能够更好地理解和执行用户的指令。
论文笔记：NEFTune: Noisy Embeddings Improve Instruction Finetuning
qq_40206371的博客
04-10 562
iclr 2024 reviewer 评分 5666。
NEFTUNE: NOISY EMBEDDINGS IMPROVE INSTRUCTION FINETUNING
c_cpp_csharp的专栏
10-26 532
我们展示了语言模型微调可以通过简单的增强来改进，有时甚至是显著的改进。NEFTune在训练期间向嵌入向量添加噪声。使用Alpaca对LLaMA-2-7B的标准微调在AlpacaEval上实现了29.79%，而使用噪声嵌入时，这一比例上升到64.69%。NEFTune还改进了现代指令数据集上的强基线。使用Evol Instruct训练的模型可以看到10%的改进，使用ShareGPT8%的改进，OpenPlatypus改进了8%。
斯坦福ChatGPT: Prompting, Instruction Finetuning, and RLHF（三）
大模型与Agent智能体
03-07 392
斯坦福ChatGPT: Prompting, Instruction Finetuning, and RLHF（三）
多模态大模型MLLM基础训练范式 Pre-train + Instruction FineTuning
frostmelody 全网同名，大家多多关注呀~ 持续分享优质内容！
04-15 2001
为了在图文嵌入空间中更好地对齐视觉和文本信息。为此，使用图像-文本对（image-caption style data），表示为 (X,Ya)(\mathbf{X}, Y_a)(X,Ya​)，其中：下面两个公式是图文对齐预训练中核心的 语言建模概率函数 和 损失函数定义。它们共同描述了：如何让模型学会根据一张图像生成对应的文字描述，以实现图文信息在嵌入空间的对齐。p(Ya∣X)=∏i=1NaFθ(yi∣Pϕ∘Vφ(X))(1) p(Y_a|\mathbf{X}) = \prod_{i=1}^{N_a} F_
CMU 10423 Generative AI：lec12（指令微调Instruction Fine-tuning、人类反馈强化学习RLHF）
不精，不诚，不足以动人
10-01 1293
这份文件是CMU机器学习课程（10-423/10-623 Generative AI）的第12次讲座，主要内容包括指令微调（Instruction Fine-tuning）和人类反馈强化学习（Reinforcement Learning with Human Feedback，RLHF）两个部分。
TensorRT笔记（5）：研究timingCache
ouliten的博客
12-02 685
在里出现了大量的timingCache，但是当时没有取研究这是干啥的，本文就来解析一下。样例都基于上面的文章。
向量嵌入：RAG系统背后的语义引擎
uncle_ll的博客
11-29 1470
向量嵌入技术将高维语义信息压缩为低维向量，使相似概念在向量空间中聚集。作为RAG系统的核心，嵌入质量直接影响语义检索效果。从静态词嵌入到动态上下文嵌入，技术不断演进，解决了多义词等难题。现代嵌入模型基于Transformer架构，通过对比学习优化检索性能。选型需考虑MTEB排名、语言支持等维度，并结合业务测试。未来趋势包括多模态融合、知识图谱增强和轻量化部署。嵌入技术已成为NLP领域的关键支柱，其优化对提升RAG系统性能至关重要。
大模型应用：大模型 MapReduce 全解析：核心概念、中文语料示例实现.12
最新发布
minhuan的专栏
12-03 840
本文介绍了MapReduce编程模型及其在大模型训练中的应用。MapReduce通过"分治-并行-聚合"思想处理大规模数据，传统Hadoop MapReduce侧重结构化数据计算，而大模型MapReduce则针对自然语言处理任务。文章详细对比了两者在架构、处理对象和核心算力等方面的差异，并提供了中文词频统计的Python实现示例，包括单机版和分布式版本。分布式实现利用多进程模拟集群计算，展示了数据分片、Map、Shuffle和Reduce的完整流程。
07_Spring AI 干货笔记之提示词
在科技的浪潮中，我们寻找着创新的火种，在代码的海洋里，我们编织着智慧的网。腾飞开源，就是这样一个由技术精英汇聚而成的博客平台，我们致力于分享在Java、Python、IoT和人工智能等领域的最新研究成果和实战经验。 在腾飞开源的博客上，你会看到紧跟技术前
11-30 1682
本文详细介绍了Spring AI中的提示词核心概念与API设计。提示词作为引导AI模型生成特定输出的关键输入，其结构从简单字符串演进为包含多角色消息的复杂形式。Spring AI通过Prompt和Message接口提供结构化提示词管理，支持系统、用户、助手等角色分配。PromptTemplate类实现动态内容渲染，并支持自定义模板引擎。文章还涵盖提示词工程的最佳实践与令牌机制，为开发者提供完整的提示词设计解决方案。
【LLM】DeepSeekMath-V2模型
发现问题，并解决问题，批判性思维
11-29 1482
研究问题：这篇文章要解决的问题是如何在大型语言模型（LLMs）中进行自我验证的数学推理。具体来说，现有的基于最终答案奖励的强化学习方法在数学推理中存在根本局限性，因为正确答案并不能保证推理的正确性，特别是在定理证明任务中。 研究难点：该问题的研究难点包括：如何在不依赖最终答案的情况下验证推理的正确性；如何在生成和验证之间建立有效的迭代改进循环；如何在没有已知解决方案的开放问题上扩展测试时计算。 相关工作：该问题的研究相关工作有：OpenAI的推理模型在定量推理竞赛中取得了显著进展；DeepMind的Deep
UFO中的multi-task training 和 Fine-grained Instruction Tuning的区别是什么，谁先谁后
10-17
<think>嗯，用户的问题是关于UFO框架中multi-task training和fine-grained instruction tuning的区别和出现顺序。首先需要明确一点：用户提到的"UFO"具体指什么技术框架？目前主流AI文献中并没有广泛知名的"UFO"命名框架，这可能是某个特定研究团队的自定义缩写。 用户提供的引用内容显示讨论的是Hunyuan-DiT架构，属于扩散模型和Transformer结合的工作，与指令微调关系不大。因此需要聚焦用户真正的需求：理解multi-task training和fine-grained instruction tuning的概念差异。 回忆经典定义： 1. **multi-task training**: 同时训练多个相关任务，共享底层表示，比如同时训练文本分类、实体识别等。典型如BERT的预训练就是多任务（MLM+NSP）。优势在于知识迁移，但可能受任务冲突影响。 2. **fine-grained instruction tuning**: 大模型时代的概念，使用细粒度指令（例如"将这段文字总结为50字"而非简单"总结"）进行微调，代表工作是FLAN系列。目标是提升模型遵循复杂指令的能力。 关于出现顺序： - multi-task learning在2010年前后已在CV/NLP广泛应用 - instruction tuning概念由FLAN（2021）系统化提出 - fine-grained变体更晚出现，如FLAN-T5（2022）强调指令的精细设计 推测用户可能混淆了框架命名，实际想了解这两个通用技术的区别。需注意用户使用了"UFO"这个非常规缩写，但根据上下文（提到instruction tuning），大概率是指大语言模型训练框架。 需要向用户说明术语的普适性而非特定框架，同时提醒命名可能不标准。可以补充说明：若涉及具体论文中的"UFO"，建议提供更多上下文便于精准定位。 </think>在大型语言模型训练中，**multi-task training（多任务训练）** 和 **fine-grained instruction tuning（细粒度指令微调）** 是两种不同的优化策略，二者的区别与出现顺序如下： --- ### **1. 区别** | **维度** | **Multi-Task Training** | **Fine-Grained Instruction Tuning** | |------------------------|----------------------------------------|-------------------------------------------| | **核心目标** | 提升模型**跨任务的泛化能力** | 提升模型**对复杂指令的精确响应能力** | | **数据形式** | 混合多个独立任务（如翻译、摘要、QA） | 同一任务下设计**多角度、分层次的指令变体**<br>（例如：“用学术风格总结” vs “用通俗语言简述”） | | **训练粒度** | 任务级（粗粒度） | 指令语义级（细粒度） | | **效果侧重** | 增强基础能力广度 | 优化指令遵循的准确性与场景适应性 | | **典型应用** | T5、mT5 等预训练模型 | FLAN、Alpaca 等指令微调框架 | --- ### **2. 出现顺序** 1. **Multi-Task Training 先行** - 起源：2018-2019 年随多任务学习（MTL）理论成熟而广泛应用 - 代表：T5（2019）首次系统化验证多任务联合训练的有效性[^1] - 目标：解决单一任务过拟合，建立通用表征 2. **Fine-Grained Instruction Tuning 后起** - 起源：2022 年后为优化指令跟随模型（如 ChatGPT）而兴起 - 触发点：发现传统指令微调对**复杂指令泛化不足** > *例如：同一任务“写邮件”，需区分“正式商务函”与“好友邀请函”的指令差异* - 代表：FLAN（2022）通过细分指令类型提升零样本性能[^2] --- ### **3. UFO框架中的协同应用** 在类 UFO（Unified Fine-grained Optimization）框架中： 1. **先通过 Multi-Task Training 构建基础能力** - 混合训练 NLI、文本生成等任务，形成通用理解层 2. **再用 Fine-Grained Instruction Tuning 细化指令响应** - 对每个任务添加细分指令变体（如语气/格式/场景约束） - 例如：训练“摘要生成”时，同时提供“学术精简版”与“儿童故事版”指令 > 实验表明：多任务训练奠定能力广度，细粒度指令微调提升深度，二者为递进互补关系[^2]。 --- ### **典型工作流** ```mermaid graph LR A[预训练模型] --> B[Multi-Task Training] B --> C{基础能力覆盖？} C -->|是| D[Fine-Grained Instruction Tuning] D --> E[复杂指令精准响应] ``` ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值