论文笔记 P-Tuning v2 与微调性能相等的提示性优化

已于 2023-06-27 17:54:41 修改
阅读量534 收藏 1
点赞数
分类专栏： LLM大语言模型 文章标签： 论文阅读 人工智能 深度学习
于 2023-06-27 13:44:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/sinat_37574187/article/details/131415317
版权
P-tuningv2是一种优化连续提示的方法，旨在解决小规模模型在NLU任务上的不足，通过在多层添加连续prompt，提高了任务特定参数，增强了模型预测能力。相比于前作，P-tuningv2在序列标注等任务上有显著提升，且在全监督学习环境中表现与微调相当，提供了一种微调的替代方案。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

最近在看刘鹏飞写的关于prompt的综述，论文太长了。。 只能看一部分记录一部分笔记，离散的prompt理解起来较容易，所以重点记录一下关于continuous prompt的笔记，P-tuning v2也提到了之前一些论文的工作，所以今天记录下这篇论文相关的笔记，提到之前论文中的部分也大概写写。

论文地址

https://arxiv.org/pdf/2110.07602.pdf​arxiv.org/pdf/2110.07602.pdf

1. Abstract

Prompt tuning是之前其他论文提出的一种方法，通过冻结语言模型仅去调整连续的prompts，在参数量超过10B的模型上，效果追上了fine-tune，但是在normal-sized模型上表现不好，并且无法解决序列标注任务。针对这两个问题，作者提出了P-tuning v2。

2. Related work

这篇论文跟之前的prompt tuning, prefix tuning 和p-tuning

了解本专栏 订阅专栏 解锁全文 超级会员免费看
LLMs之PEFT：大模型核心技术—PEFT(参数高效微调)的简介(指令微调/RLHF微调)、微调两大范式+三类五法—(Adapter/Prefix/P-tuning/HINT，Delta-tunin
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
06-21 2494
​ LLMs之PEFT：大模型核心技术—PEFT(参数高效微调)的简介(指令微调/RLHF微调)、微调两大范式+三类五法—(Adapter/Prefix/P-tuning/HINT，Delta-tuning，LoRA/QLoRA/LOMO)之详细攻略 LLMs之PEFT：大模型核心技术—PEFT(参数高效微调)的简介(指令微调/RLHF微调)、微调两大范式+三类五法—基于添加式(引入额外可训练参数或模块，如Adapter/Prefix/P-tuning/HINT)、基于规范化(冻结某些固有模型参数同时指定
羊驼2:开放的基础和微调聊天模型--Llama 2论文阅读
andeyeluguo的博客
01-11 1364
摘要 在这项工作中，我们开发并发布了Llama 2，这是一个预训练和微调的大型语言模型(llm)的集合，范围从70亿到700亿个参数。我们的微调llm，称为Llama 2-Chat，针对对话用例进行了优化。我们的模型在我们测试的大多数基准测试中都优于开源聊天模型，并且基于我们对有用性和安全性的人工评估，可能是闭源模型的合适替代品。我们详细描述了我们对Llama 2-Chat进行微调和安全改进的方法，以使社区能够在我们的工作基础上为llm的负责任发展做出贡献。 内容 PAGE 2 1介绍 PAGE
[论文阅读笔记75]P-Tuning v2
ld326的专栏
06-08 1868
这个实验效果是可喜的，特别在NLU的任务上，一个优势时，预模型不用太大，另一个不用保存多一份模型的副本。还有一个，这里采用了CLS&linear head来代替经典的。
知识图谱：【知识图谱问答KBQA（七）】——P-tuning V2训练代码核心网络层解析
u013010473的博客
02-21 1378
在P-Tuning V2代码中，包括四类NLP任务： token_classification:对应序列标注任务 sequence_classification:对应文本分类任务 question_answering:对应问答任务 multiple_choice:对应阅读理解任务 class TaskType(Enum): TOKEN_CLASSIFICATION = 1, SEQUENCE_CLASSIFICATION = 2, QUESTION_ANSWERING = 3,
【大模型深度学习】提示学习：Prefix tuning 、P-tuning v2、P-tuning 到底有什么区别？
最新发布
weixin_42264784的博客
04-05 1055
Prefix tuning 、P-tuning v2、P-tuning还在傻傻分不清。到底有什么区别，本文希望说明白这些区别，如有错误欢迎指出。
P-Tuning v2: 与微调性能相等的提示性优化
chaishen10000的专栏
06-20 684
提示微调，只用一个冻结的语言模型来微调连续的提示，大大减少了训练时每个任务的存储和内存使用。然而，在NLU的背景下，先前的工作显示，提示微调对于正常大小的预训练模型来说表现并不理想。我们还发现，现有的提示微调方法不能处理困难的序列标注任务，表明缺乏普遍性。我们提出了一个新的经验发现，适当优化的提示微调可以在广泛的模型规模和NLU任务中普遍有效。它与微调的性能相匹配，而只有0.1%-3%的微调参数。
P-Tunning V2简单理解
REfusing的博客
03-14 1001
之前看过P-tunning V2, 知道他得思想，最近突然想到了这件事，仔细看了一下他得代码实现，重新看了一遍，记录一下。图片源于：https://zhuanlan.zhihu.com/p/423902902P-Tunning V2的思路，仅仅通过微调连续的一些虚拟Token进行训练，固定模型的其它参数，从而实现低成本微调。
past_key_values在P-TuningV2中的巧用
c___c18的博客
06-19 1730
目前HuggingFace发布了关于微调LLMs的方法包——此外也列出了该包对不同的任务中，不同方法和模型的支持情况（我只列出了关于NLP的，还有的）：但是还没有P-Tuning v2:的方法，因此我就看源码是怎么处理的。在研究和阅读其他人blog期间，发现有些人对P-Tuning描述不准确。因此需要注意甄别（主要是P-Tuning和Prompt-Tuning的方法提出时间就差了一个月，并且在方法上有一定的相似性，都是在Embedding中使用了continuous prompt）
QLORA:量化LLMA的有效微调
AI浩
06-28 3178
我们提出了QLORA，这是一种有效的微调方法，它减少了内存使用，足以在单个48GB GPU上微调65B参数模型，同时保留完整的16位微调任务性能。QLORA通过冻结的4位量化预训练语言模型将梯度反向传播到Low RankAdapters (LoRA)中。我们最好的模型家族，我们命名为Guanaco，在Vicuna基准上优于之前所有公开发布的模型，达到ChatGPT性能水平的99.3%，而只需要在单个GPU上进行24小时的微调。
大模型训练之加速篇 -＞ peft(Lora-＞ReLORA-＞Vera-＞Dora-＞LISA-＞Lora+-＞Lora-GA) -＞ accelerator -＞ deepspeed (Zero)
weixin_36378508的博客
09-20 1698
加速。大模型
大模型算法岗面试题系列（五十）| P-tuning 讲一下?与P-tuning v2区别在哪里?优点与缺点?
Code1994的博客
08-21 869
P-tuning的核心思想是通过引入可学习的“软”提示（soft prompt）来代替固定的提示（prompt）模板，这些软提示与模型的输入一起送入预训练模型，以引导模型生成正确的输出。
大模型微调技术——P-Tuning及P-Tuning v2总结
qq_41838627的博客
07-26 8233
从五大模块总结P-Tuning及P-Tuning v2 微调技术，近200个小知识点。【技术回顾】、【P-Tuning技术原理】、【P-Tuning与超大规模模型微调关系】、【P-Tuning价值】、【P-Tuning v2】大模型微调技术系列原理： [大模型微调技术——概述](https://blog.youkuaiyun.com/qq_41838627/article/details/132327479) [大模型微调技术——LoRA](https://blog.youkuaiyun.com/qq_41838627/artic
大模型参数高效微调技术原理综述（三）-P-Tuning、P-Tuning v2
吃果冻不吐果冻皮
09-05 1341
第二，缺少深度提示优化，在Prompt Tuning和P-tuning中，连续提示只被插入transformer第一层的输入embedding序列中，在接下来的transformer层中，插入连续提示的位置的embedding是由之前的transformer层计算出来的，这可能导致两个可能的优化挑战。提示长度在提示优化方法的超参数搜索中起着核心作用。在实验中，我们发现不同的理解任务通常用不同的提示长度来实现其最佳性能，这与Prefix-Tuning中的发现一致，不同的文本生成任务可能有不同的最佳提示长度。
P-tuning v2开源项目简介
qq_41771998的博客
04-05 860
Deep prompt tuning 增加了连续提示的能力，并缩小了跨各种设置进行微调的差距，特别是对于小型模型和艰巨的任务。对于 SuperGLUE 和 SQuAD 数据集，我们从 Huggingface 数据集 API（嵌入在我们的代码中）下载它们。如果你不能在最好的 epoch 达到报告的结果，可能是环境不匹配，需要超参数搜索。如果您没有完全相同的环境，我们强烈建议您根据我们在。目前，我们已经发布了对以下任务和数据集的重新实现。​​ 中的示例超参数搜索脚本在您的环境中运行超参数搜索。
参数高效微调PEFT(二)快速入门P-Tuning、P-Tuning V2
qq_44665283的博客
05-28 8780
参数高效微调PEFT(二)快速入门P-Tuning、P-Tuning V2
大模型微调之P-tuning方法解析
热门推荐
qq_41771998的博客
04-04 1万+
Bert时代，我们常做预训练模型微调（Fine-tuning），即根据不同下游任务，引入各种辅助任务loss和垂直领域数据，将其添加到预训练模型中，以便让模型更加适配下游任务的方式。每个下游任务都存下整个预训练模型的副本，并且推理必须在单独的批次中执行。那么能不能将所有自然语言处理的任务转换为语言模型任务？就是所有任务都可以被统一建模，任务描述与任务输入视为语言模型的历史上下文，而输出则为语言模型需要预测的未来信息。
提示学习系列：P-tuning v2微调BERT实现文本多分类
qkh1234567的博客
12-20 1515
P-tuning v2是清华团队在P-tuning基础上提出的一种提示微调大模型方法，它旨在解决提示学习在小尺寸模型上效果不佳，以及无法对NLU下游任务通用的问题，本文对该方法进行简要介绍和实践。P-tuning v2理论方法简介P-tuning v2微调BERT实践P-tuning v2、PET、Fine-Tuning效果对比1.为了增强对下游任务的通用性，使用类似Fine-tuning的[CLS]为作为任务的预测表征。
知识图谱：【知识图谱问答KBQA（六）】——P-tuning V2训练代码解析
u013010473的博客
02-18 2855
文章目录一.arguments.pyDataTrainingArguments类ModelArguments类QuestionAnwseringArguments类get_args()函数二.run.pyStep 1. 获取所有参数Step 2. 根据任务名称选择导入对应的get_trainerStep 3. 将参数args传入get_trainer,得到trainer1）根据模型名称或路径加载tokenizer2）根据tokenizer和参数data_args、training_args加载数据集data
将P-tuning v2微调原理
03-15
### P-tuning v2 的微调原理详解 P-tuning v2 是一种针对预训练语言模型的提示微调方法，由清华大学的研究团队提出。该方法的核心目标是通过设计特定的连续型提示（continuous prompt），使模型能够更好地适应各种自然语言处理任务，尤其是对于较小规模的语言模型[^1]。 #### 提示学习的基础概念 传统的迁移学习通常依赖于全量参数微调（fine-tuning），即调整整个模型的所有权重来适配下游任务。然而，这种方法存在两个主要问题：一是计算成本高，二是容易过拟合到小型数据集上。相比之下，提示学习（prompt learning）仅优化少量可学习参数，从而显著降低资源消耗并提高泛化能力。P-tuning v2 就是在这一背景下提出的改进版本[^3]。 #### 连续型提示的设计 在 P-tuning v2 中，引入了一组虚拟标记（virtual tokens），这些标记被嵌入到输入序列中作为额外的信息源。具体来说，假设原始输入为 \(X\)，则新的输入形式可以表示为 \([P, X]\)，其中 \(P\) 表示一组长度固定的连续型提示向量。这些提示向量会被初始化并通过梯度下降算法进行更新，以便最大化目标任务上的表现。 以下是实现过程中的几个关键技术点： 1. **提示初始化策略** - 初始阶段，提示向量可以通过随机方式或者基于某些启发式规则设定其值域范围。 - 实验表明，采用正态分布采样的初始值往往能带来更稳定的学习曲线。 2. **联合优化机制** - 不同于早期版本只关注提示本身的质量提升，P-tuning v2 同时考虑到了如何让基础模型更好地响应所给定的提示信号。 - 此外还探索了多种损失函数组合方案以进一步增强整体框架的有效性[^2]。 3. **跨模态扩展潜力** - 鉴于当前多模态应用日益增多的趋势，研究者也尝试验证此技术能否顺利迁移到图像-文本等领域内的复杂场景之中去。 ```python import torch from transformers import BertTokenizer, BertForMaskedLM tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') model = BertForMaskedLM.from_pretrained('bert-base-uncased') def create_continuous_prompt(prompt_length=10): """创建一个指定长度的连续型提示""" return torch.randn((1, prompt_length, model.config.hidden_size)) # 假设我们有一个大小为10的连续型提示 continuous_prompt = create_continuous_prompt() input_ids = tokenizer("This is a test sentence.", return_tensors="pt")["input_ids"] inputs_embeds = model.bert.embeddings(input_ids) # 将连续型提示拼接到实际输入之前 full_inputs_embeds = torch.cat([continuous_prompt, inputs_embeds], dim=1) attention_mask = torch.ones(full_inputs_embeds.shape[:2]) outputs = model(inputs_embeds=full_inputs_embeds, attention_mask=attention_mask) logits = outputs.logits ``` 上述代码片段展示了如何构建并利用连续型提示完成一次前向传播操作。值得注意的是，在真实应用场景下还需要定义合适的反向传播路径以及相应的超参调节流程等细节部分。 --- #### 性能比较分析 通过对多个基准测试集合上的实验结果对比发现，当应用于中小规模预训练模型时，P-tuning v2 显著优于其他几种主流的方法论，包括但不限于标准 Fine-Tuning 和初代 Prompt Tuning 技术。特别是在 SuperGLUE 数据集中，它能够在低于十亿参数级别的条件下达到甚至超越完全微调所带来的收益水平。 综上所述，凭借创新性的架构设计思路及其卓越的实际运用成效，使得 P-tuning v2 成为了当下极具竞争力的一项研究成果之一。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

强化学习曾小健

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值