Instruction finetuning

已于 2023-07-16 10:49:30 修改
阅读量282 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 00.LLM 文章标签： 人工智能
于 2023-07-13 17:13:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/apache/article/details/131707238
FLAN-T5是谷歌提出的一种新的微调框架，它扩展了T5模型的能力，通过统一的输入输出格式和chain-of-thought机制，使得一个模型能处理超过1800种NLP任务，提升了模型的泛化性能。该框架降低了任务迁移的成本，展示了通用语言模型的巨大潜力。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Instruction finetuning

---

T5，Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer，2019

arxiv https://arxiv.org/abs/1910.10683
中译 T5: Text-to-Text Transfer Transformer 阅读笔记 - 知乎
讨论 如何评价 Google 提出的预训练模型 T5？ - 知乎

---

FLAN-T5,

文献阅读：Scaling Instruction-Finetuned Language Models_Espresso Macchiato的博客-优快云博客

谷歌FLAN-T5作者亲讲：5400亿参数，1800个任务，如何实现大语言模型“自我改进”

 

Flan-T5: One Model for ALL Tasks - 知乎

提出了Flan的微调框架:  统一的输入输出格式（4种类型），引入chain-of-thought，大幅提高任务数量，大幅提高模型规模.

实现了用一个模型来解决超过1800种几乎全部的NLP任务，通过较低的成本，极大发掘了现有语言模型的泛化性能，让大家看到了通用模型的希望，即One Model for ALL Tasks。

【LLM系列之FLAN-T5/PaLM】Scaling Instruction-Finetuned Language Models - 知乎

文献阅读：Scaling Instruction-Finetuned Language Models_Espresso Macchiato的博客-优快云博客

---

斯坦福ChatGPT: Prompting, Instruction Finetuning, and RLHF（二）
大模型与Agent智能体
03-07 406
斯坦福ChatGPT: Prompting, Instruction Finetuning, and RLHF（二）
斯坦福ChatGPT: Prompting, Instruction Finetuning, and RLHF
大模型与Agent智能体
02-25 2003
在2019年，OpenAI推出了GPT-2，是GPT的升级版本，它拥有更多的参数和更多的训练数据，以提高语言生成和理解的能力。GPT-2拥有1.5B个参数，是GPT-1的十倍，并且使用了比GPT-1更大的数据集——40GB的WebText，这是从Reddit网站上抓取的链接数据集，其中每个链接至少获得3个赞。在GPT-1之后，OpenAI又推出了更大的版本，例如GPT-2和GPT-3，它们分别拥有1.5B和175B个参数，并在自然语言生成和理解方面取得了惊人的成果。记忆是愉快的，尽管情况如此。
指令微调（Instructional Fine-tuning）
qq_36485259的博客
03-12 4496
指令微调（Instructional Fine-tuning）是一种自然语言处理（NLP）技术，特别是在大型预训练语言模型（如 GPT、BERT 等）的应用中。在指令微调中，模型被进一步训练以更好地理解和遵循人类给出的指令或命令。这种方法可以提高模型在特定任务上的性能，使其能够根据给定的指令生成更准确的结果。
大模型微调学习之旅④ — XTuner 大模型单卡低成本微调实战
HOOK1的博客
01-13 4339
图解：Alpaca 格式，斯坦福大学开源数据集的格式，也是社区开源项目使用较多的一种格式MOSS 格式，复旦大学开源指令微调数据集的格式，包含多轮对话和工具调用Gunacao 格式，QLoRA 项目中所使用数据集的格式OpenAI 格式，GPT-3.5-Turbo Finetune 接口要求的数据集格式。
一文搞懂LLM大模型！LLM从入门到精通万字长文
jennycisp的博客
06-13 698
ChatGLM-6B 是清华大学提出的一个开源、支持中英双语的对话语言模型，基于GeneralLanguageModel (GLM) 架构，具有 62 亿参数.该模型使用了和 ChatGPT 相似的技术，经过约 1T 标识符的中英双语训练(中英文比例为1:1)，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答（目前中文支持最好）.
【人工智能】微调的艺术：将大模型塑造成你的专属智能助手
一个被知识诅咒的人
05-17 843
大语言模型（LLM）的通用能力令人惊叹，但要使其成为特定场景下的专属助手，微调（Fine-tuning）是关键。本文以“微调的艺术”为主题，深入探讨如何通过指令微调（Instruction Tuning）、强化学习（RL）、参数高效微调（PEFT）等技术，将通用大模型转化为高效的专属工具。结合大量Python代码示例、数学公式和中文注释，展示从数据准备到模型部署的完整微调流程，覆盖文本生成、代码生成和多模态任务等应用场景。文章还分析了微调中的挑战（如过拟合、灾难性遗忘）及2025年的技术趋势，为开发者提供实
一文搞懂LLM大模型！LLM从入门到精通万字长文（2024.12月最新）
热门推荐
qq_45591302的博客
07-12 2万+
LLM大模型从入门到精通
LLM微调
07-16 2178
prefix-tuning的中文表达是前缀微调，在实现时，prefix-tuning是在PLM前部拼接一小段可学习的向量(virtual tokens)作为Prefix（这里的“前部”是指PLM网络结构每一层的前部，拼接后，PLM网络的层数是不变的）， 且在微调模型的过程中只优化拼接的Prefix，而不需要优化整个模型的参数（训练的时候只更新Prefix部分的参数，而PLM中的其他部分参数不更新）。举个例子，在情感分类任务中，我们要判断“《功夫》这个电影是周星弛主演的，无厘头式的幽默，我很喜欢。
【论文笔记】NEFTune: Noisy Embeddings Improve Instruction Finetuning
小嗷犬的博客
01-05 1168
我们表明，通过简单的增强，语言模型微调可以得到改进，有时甚至可以显著提高。NEFTune在训练过程中向嵌入向量添加噪声。使用Alpaca对LLaMA-2-7B进行标准微调，在AlpacaEval上的成绩为29.79%，而使用带噪声的嵌入时，成绩上升至64.69%。NEFTune在现代指令数据集上也优于强大的基线。使用Evol-Instruct训练的模型提高了10%，ShareGPT提高了8%，OpenPlatypus提高了8%。
指令微调（Instruction Fine-Tuning）与微调FineTuning的区别（Instruction Fine Tuning）
Dontla的博客
01-02 1683
与传统的微调（Fine-Tuning）侧重于特定任务或领域不同，指令微调专注于提升模型对各种自然语言指令的响应效果，使其在更广泛的应用场景中表现得更加准确和可靠。指令微调是一种有效的方法，通过针对性的训练，使预训练语言模型在理解和执行用户指令方面表现得更加出色。随着指令微调技术的不断发展，未来的语言模型将在更多领域展现出更强大的能力，为用户提供更加精准和高效的服务。指令微调是一种专门的微调技术，通过在大量包含指令和相应响应的数据集上训练模型，使其能够更好地理解和执行用户的指令。
论文笔记：NEFTune: Noisy Embeddings Improve Instruction Finetuning
qq_40206371的博客
04-10 530
iclr 2024 reviewer 评分 5666。
NEFTUNE: NOISY EMBEDDINGS IMPROVE INSTRUCTION FINETUNING
c_cpp_csharp的专栏
10-26 459
我们展示了语言模型微调可以通过简单的增强来改进，有时甚至是显著的改进。NEFTune在训练期间向嵌入向量添加噪声。使用Alpaca对LLaMA-2-7B的标准微调在AlpacaEval上实现了29.79%，而使用噪声嵌入时，这一比例上升到64.69%。NEFTune还改进了现代指令数据集上的强基线。使用Evol Instruct训练的模型可以看到10%的改进，使用ShareGPT8%的改进，OpenPlatypus改进了8%。
斯坦福ChatGPT: Prompting, Instruction Finetuning, and RLHF（三）
大模型与Agent智能体
03-07 364
斯坦福ChatGPT: Prompting, Instruction Finetuning, and RLHF（三）
微调大模型（Finetuning Large Language Models）—Instruction_tuning（三）
l8947943的博客
09-27 368
指令微调，个人理解就是搞prompt模板，从而对输出内容进行标准化输出，本节实验感觉没啥内容，看看就好。
Fine-tuning与 Instruction Tuning
读书郎
08-20 2095
Instruction Tuning 是一种机器学习技术，特别是在自然语言处理 (NLP) 领域中，用于优化模型的行为，使其能够更好地遵循自然语言指令。它是在预训练和微调之后的一种技术，以进一步提升模型在实际应用中的表现。现代 NLP 模型通常经历三个阶段：预训练（Pretraining）：模型在大规模未标注的数据上进行训练，学习语言的基本结构和语义。微调（Fine-tuning）：模型在特定任务的数据集上进行调整，以提高在该任务上的性能。
【论文阅读 | TIV 2024 | CDC-YOLOFusion：利用跨尺度动态卷积融合实现可见光-红外目标检测】
berling00的博客
07-22 495
题目：CDC-YOLOFusion: Leveraging Cross-scale Dynamic Convolution Fusion for Visible-Infrared Object Detection期刊：IEEE Transactions on Intelligent Vehicles （TIV）论文：paper代码：code年份：2024由于能够深入挖掘可见光和红外特征，特征级融合方法在可见光 - 红外目标检测中表现出优异的性能。然而，大多数现有的特征级融合方法利用多个具有固定参数的卷积层来
智合同丨当AI成为法律人的助手：合同审查效率变革观察
Shenhetong的博客
07-18 1187
合同审查面临重复性高、耗时长的共性挑战，大量基础工作消耗法律人精力。智能辅助工具通过自动分类、风险提示等功能，可提升审查效率，使法务人员聚焦核心条款。技术介入促使法律人角色转变：从"审查者"向"规则设计者"转型，将节省的时间投入复杂案件、合同优化等高价值工作。智能工具并非取代专业判断，而是与法律人形成共生关系，释放其在战略决策、业务协作等领域的独特价值，实现效率与专业的双重提升。
论文笔记：EDITING MODELS WITH TASK ARITHMETIC
qq_40206371的博客
07-21 554
2023 ICLR。
[2025CVPR]ViKIENet：通过虚拟密钥实例增强网络实现高效的 3D 对象检测
最新发布
hasakie的博客
07-22 444
ViKIENet论文摘要：ViKIENet提出一种高效的多模态3D物体检测框架，通过虚拟关键实例（VKIs）解决LiDAR点云稀疏性和传统虚拟点方法的高计算噪声问题。其核心创新包括：1）语义关键实例选择（SKIS），仅提取关键区域的虚拟点，减少90%计算量；2）多阶段融合模块（VIFF），结合BEV与RoI特征增强关键区域；3）深度校准模块（VIRA），抑制深度补全噪声。扩展版ViKIENet-R引入旋转等变特征，平衡精度与效率。实验显示，在KITTI、nuScenes等数据集上，ViKIENet以22.7
InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning复现
02-26
### 如何复现 InstructBLIP 通用视觉-语言模型及其指令微调方法 #### 准备工作环境 为了成功复现 InstructBLIP 模型，首先需要准备适当的工作环境。这通常涉及安装必要的软件包和依赖项。建议使用 Python 和 PyTorch 来构建此项目。 ```bash conda create -n instructblip python=3.8 conda activate instructblip pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu113 ``` #### 获取数据集 InstructBLIP 的训练依赖于大规模的数据集来学习丰富的特征表示。这些数据集应包含配对的图像和文本描述。常用的数据集包括 COCO Captions, Visual Genome 等[^2]。 #### 下载预训练模型权重 由于从头开始训练这样的大型模型非常耗时且计算资源密集，因此推荐下载官方发布的预训练模型权重作为起点。可以从 GitHub 或其他公开平台获取最新的预训练版本。 #### 实施指令微调流程 按照论文中的指导，在已有的基础之上实施特定任务导向的指令微调过程。具体来说： - **定义目标任务**：明确希望模型执行的任务类型，比如生成图片说明、问答等。 - **调整输入格式**：确保输入遵循预期结构，即每条记录由一对或多张图像以及相应的自然语言命令组成。 - **修改损失函数**：根据所选任务定制化设计适合的优化目标。 ```python from transformers import BlipForConditionalGeneration, BlipProcessor processor = BlipProcessor.from_pretrained("Salesforce/blip-image-captioning-base") model = BlipForConditionalGeneration.from_pretrained("Salesforce/blip-image-captioning-base") def fine_tune_model(training_data): optimizer = AdamW(model.parameters(), lr=5e-5) for epoch in range(num_epochs): model.train() for batch in training_data: inputs = processor(images=batch['image'], text=batch['instruction'], return_tensors="pt", padding=True) outputs = model(**inputs) loss = outputs.loss optimizer.zero_grad() loss.backward() optimizer.step() fine_tune_model(prepared_dataset) ``` 通过上述步骤可以有效地实现 InstructBLIP 模型的本地部署与进一步开发应用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值