大模型微调方式Prompt-Tuning和PEFT方式

最新推荐文章于 2024-12-18 17:26:45 发布
最新推荐文章于 2024-12-18 17:26:45 发布
阅读量619 收藏 5
点赞数 21
文章标签： prompt 深度学习 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_66551331/article/details/141304696
版权

避免了全模型微调带来的计算资源浪费，同时也克服了Few-Shot Learning的上下文长度限制。

Prompt-Tuning是一种利用提示（prompt）来指导模型生成特定类型输出的方法（包括：硬提示：PET,软提示：Prompt Tuning和P-Tuning)

PEFT是一种使用前缀向量来进行微调的方法，前缀向量被添加到模型的输入中，用于调整模型的输出以适应特定任务。只有前缀向量被更新，模型主体的参数保持不变。（包括：Prefix-Tuning,Adapter-Tuning,LoRA)PEFT 方法仅微调少量或额外的模型参数，固定大部分预训练参数，大大降低了计算和存储成本，同时最先进的 PEFT 技术也能实现了与全量微调相当的性能。

1,Prompt Tuning

1）适合自然语言生成的任务，基于T5模型（seq2seq结构）来做的

2）为每一个任务额外添加一个或多个embedding-——>将这些embedding和文本一起输入到大语言模型中——>只训练这些embedding的表征参数,不改模型的参数

3）embedding可以是随机初始化，也可以是预训练模型中已有的词作为这个伪标记的初始化，还可以是标签词对应的embedding为初始化

2,P-Tuning

1)适合自然语言理解任务

2）根据任务随机初始化一组提示词向量（伪标记，模型输入的一部分，会加入一些可以代表句子语义的一些词一起初始化）——>这些向量通过一层Bi-LSTM+两个前馈神经网络组成的Prompt Encoder转为新的嵌入向量（更加适应特定任务的需求）——&g

最低0.47元/天 解锁文章
Prompt-Tuning——深度解读一种新的微调范式
夏栀的博客
11-19 7万+
Prompting——深度解读一种全新的微调范式   自从GPT、EMLO、BERT的相继提出，以Pre-training + Fine-tuning 的模式在诸多自然语言处理（NLP）任务中被广泛使用，其先在Pre-training阶段通过一个模型在大规模无监督语料上预先训练一个预训练语言模型（Pre-trained Language Model，PrLM），然后在Fine-tuning阶段基于训练好的语言模型在具体的下游任务上再次进行微调（Fine-tuning），以获得适应下游任务的模型。这种模式在诸
【LLM】Prompt tuning大模型微调实战
发现问题，并解决问题，批判性思维
07-10 9909
- 给出好的prompt可以让LLM生成更好的答案，反过来想通过LLM帮我们找到好的prompt就是prompt tuning的思路，训练让模型看到新的例子生成prompt，并把该段prompt作为前缀拼接到我们自己的prompt上，送入LLM得到结果 - prompt tuning训练的前缀是向量，所以解释性略差 - 和few show比较：LLM的上下文context长度是有限的（prompt中给出有限的例子，业务复杂时难让模型学习足够多知识），prompt tuning就没有这个限制，只需在训练
大模型Prompt-Tuning技术入门（二）
瓦罗兰特顶级C位的博客
06-25 1064
Prompt-Tuning是一种在大型语言模型中进行下游任务适配的技术，起源于GPT-3的In-context Learning和Demonstration Learning。它通过构建Prompt（提示）和Verbalizer（标签映射）来转换任务，比如将分类任务转化为填空问题。PET模型是Prompt-Tuning的早期实践，通过固定模板（Pattern）和标签词（Verbalizer）来实现。
Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classification
qq_42393368的博客
12-21 1397
【摘要】 用特定任务prompt，在基于预训练语言模型在上进行微调在文本分类任务上已经显示效果很好。特别，最近的研究发现在小样本场景上的效果尤为突出。Prompt turning的核心是插入文本片段，也叫作template。将原来的分类问题转化为掩码语言模型问题。其中一个关键的步骤是在标签集合和标签词之间做一个映射，或者叫做verbalizer。一个verbalizer经常是手工设计或者基于梯度下降法搜索，这些方法可能不容易收敛，并且会给结果带来大的偏差和高的方差。在本文中，我们把外部知识引入...
学习Prompt Turning
MungerVC
11-23 532
传统的微调因为代价很高，而且一旦权重很大，这种fine 微微的意思是调不动模型的，所以需要这种提示词调mindnlp直接有。
基于prompt的关系抽取方法
qq_42393368的博客
12-19 3884
一、《AdaPrompt: Adaptive Prompt-based Finetuning for Relation Extraction 》 【摘要】 本文，我们将关系抽取任务作为掩码语言模型建模，并提出一个新的自适应基于prompt的微调方法，我们提出一个自适应标签词选择机制，其可以把关系标签分散到可变数量的标签token中，以处理复杂的多标签空间。我们进一步提出一个辅助实体辨别器，以增强模型对上下文信息的学习。 【引言】 最近，基于自监督的预训练语言模型，例如BERT，其可以学习丰.
详解大模型微调方法Prompt Tuning(内附实现代码)
热门推荐
分享机器学习、深度学习、分布式计算、MLSys相关领域知识
06-24 1万+
Prompt Tuning是现在大模型微调方法中的一种常用方法，本文通过解读5篇论文来了解Prompt Tuning方法演进的过程。分别是Prefix-Tuning、P-Tuning v1、Parameter-Efficient Prompt Tuning、P-Tuning v2。
Prompt Tuning 相比于 Fine Tuning 在哪些场景下表现更好？
zenRRan的博客
01-31 2042
作者：杰瑞和他的猫 (已获作者授权)链接：https://zhuanlan.zhihu.com/p/595178668排版：深度学习自然语言处理 公众号近年来 NLP 学术领域发展真是突飞猛进，刚火完对比学习(contrastive learning)，又有更火的提示学习 prompt learning。众所周知，数据标注数据很大程度上决定了AI算法上限，并且成本非常高，无论是对比学习还是提示学习...
P-tuning个人记录
qq_55736201的博客
05-18 1453
P-Tuning就是提示调优（Prompt Tuning），主要思想是固定预训练模型的参数，然后在模型的输入端添加可学习的"prompt"（提示）进行调整。这种方法的优点是计算成本低，因为只需要更新少量的参数。它不改变模型，而是通过对提示的优化，让模型输出最佳的结果。
Prompt tuning/P-tuning/指令微调
the_3rd_bomb的博客
10-29 2431
训练大型预训练语言模型非常耗时且计算密集。随着模型规模的不断扩大，人们对更高效的训练方法的兴趣逐渐增加，比如使用提示（prompting）。提示技术通过包含描述任务或甚至示例任务的文本提示，来调整一个冻结的预训练模型以适应特定的下游任务。通过提示，您可以避免为每个下游任务完全训练一个独立的模型，而是使用同一个冻结的预训练模型。这种方法更为简单，因为可以使用同一个模型处理不同的任务，而只需训练并存储少量的提示参数，效率远高于训练模型的全部参数。提示微调（Prompt Tuning）本质上是一种加性微调技术。
大模型微调---Prompt-tuning微调
niulinbiao的博客
12-18 1801
大模型微调
还能这么玩？将Prompt Tuning用于细粒度的图像检索！
努力努力再努力的小马
09-29 805
在本文中，作者提出了细粒度的检索提示调整 (FRPT)，旨在解决由整个FGOR模型的优化引起的次优解的收敛。FRPT设计结构扰动提示 (SPP) 和类别特定感知头 (CAH)，以引导冻结的预训练视觉模型执行非特别的检索任务。从技术上讲，SPP缩放并夸大了一些有助于类别预测的像素，这有助于这种结构扰动促使冻结的预训练模型专注于歧视性细节。CAH通过使用实例归一化消除物种差异来优化由预训练模型提取的语义特征，这使得优化后的特征对同一元类别内的粒度对象敏感。
五万字综述！Prompt Tuning：深度解读一种新的微调范式
2401_84208172的博客
10-08 2811
Template与Verbalizer的定义；那么什么是Prompt呢？在了解预训练语言模型的基础，以及预训练语言模型在Pre-training和Fine-tuning之后，我们已经可以预想到Prompt的目的是将Fine-tuning的下游任务目标转换为Pre-training的任务。那么具体如何工作呢？我们依然以二分类的情感分析作为例子，描述Prompt-tuning的工作原理。给定一个句子传统的Fine-tuning方法是将其通过BERT的Transformer获得[CLS]
大模型微调-详解Prompt Tuning、Prefix Tuning和P-Tuning
m0_56255097的博客
08-15 5325
通过上述三种参数高效微调（PEFT）技术方案——Prompt Tuning、Prefix Tuning 和 P-Tuning，研究者们能够在不改变预训练语言模型（PLM）参数的前提下，实现模型在不同下游任务上的高效适配。这些方法不仅降低了计算成本和存储需求，还提高了模型在各种任务上的表现。希望这些快递运输的比喻和其他例子能帮助你更好地理解这些技术原理。随着技术的不断发展，相信会有更多创新的方案涌现，为自然语言处理领域带来新的突破。
Prompt-Tuning、Instruction-Tuning、prefix tuning的区别；Instruction-Tuning（指令调优），和Prefix-Tuning（前缀调优）相关的例子
强化学习曾小健
06-21 7968
如果模型生成了错误的结果，则给予负向奖励。通过 Prefix-Tuning 技术，你可以在模型输入的开头添加一个特定的前缀，来指导对话生成的内容。Prefix-Tuning（前缀调优）：Prefix-Tuning 是一种通过在模型输入中添加特定的前缀，来引导模型生成特定类型的输出。总结来说，Prompt-Tuning 是通过提示来引导模型生成相关内容，Instruction-Tuning 是通过指令来训练模型执行特定任务，而 Prefix-Tuning 是通过在输入中添加前缀来控制生成结果的格式和结构。
探索未来预训练模型微调的新方式：Prompt-Tuning
gitblog_00061的博客
04-26 369
探索未来预训练模型微调的新方式：Prompt-Tuning prompt-tuningOriginal Implementation of Prompt Tuning from Lester, et al, 2021项目地址:https://gitcode.com/gh_mirrors/pr/prompt-tuning 项目简介 是谷歌研究团队推出的一个开源项目，它提供了一种全新的、有效的大规模...
大语言模型三种训练技术：Prompt-Tuning、Instruction-Tuning、Chain-of-Thought
u013250861的博客
05-11 2178
一切还是从BERT（BERT模型卡信息：「链接」）说起，当年Google提出BERT模型的时候，一个最大的贡献是使用了Masked Language Model（MLM），即随机掩盖输入序列的一个token，然后利用相邻的tokens预测这个token是什么，这样模型可以学会更好地理解上下文。BERT这种训练方式让模型在文本生成方面有很强的能力，因此，大家发现有时候不一定需要做fine-tuning即可让模型帮我们解决感兴趣的任务。
Prompt-Tuning：大模型微调技术
weixin_41888295的博客
12-25 1046
本文介绍了五种常见的大模型微调技术：Adapter-Tuning、Prefix-Tuning、Prompt-Tuning（P-Tuning）、P-Tuning v2和LoRA。这些技术可以在保持模型性能的同时，显著减少模型的参数数量和计算复杂度，为资源有限场景中的NLP任务提供了有效的解决方案。P-Tuning v2是P-Tuning的改进版。微调技术，包括Adapter-Tuning、Prefix-Tuning、Prompt-Tuning（P-Tuning）、P-Tuning v2和LoRA。
peft模型微调--Prompt Tuning
LLMUZI123456789的博客
03-12 1094
PEFT（Parameter-Efficient Fine-Tuning）是一种针对大模型微调的技术，其核心思想是在保持大部分预训练模型参数不变的基础上，仅对一小部分额外参数进行微调，以实现高效的资源利用和性能优化。模型微调（Model Fine-Tuning）是指在预训练模型的基础上，针对特定任务进行进一步的训练以优化模型性能的过程。Adapter Layers： 在模型的各个层中插入适配器模块，这些适配器模块通常具有较低的维度，并且仅对这部分新增的参数进行微调，而不改变原模型主体的参数。
针对p-tuning v2和lora微调，有什么典型的面试问题及回答
最新发布
03-04
<think>好的，我现在需要帮用户整理关于P-Tuning v2和LoRA微调的典型面试问题及回答。首先，我得回忆一下这两种微调方法的基本概念和区别。P-Tuning v2主要是通过引入可训练的连续提示向量（prompt tuning），而LoRA则是通过低秩适配器在模型的权重矩阵中注入可训练参数。接下来，用户可能想知道面试中常被问到的问题类型，比如两者的对比、优缺点、适用场景等等。 用户可能希望这些问题能够覆盖理论理解、实际应用以及比较分析。因此，我需要分门别类地整理问题，比如基础概念题、对比分析题、实现细节题、应用场景题等。每个问题下需要简明扼要的回答，同时确保技术细节准确无误。例如，可能会问“P-Tuning v2的核心改进是什么？”这时候需要回答它解决了v1中的哪些问题，比如深度提示和参数效率。 另外，考虑到面试中可能出现的实战题，例如如何选择这两种方法，需要结合具体场景来分析。比如，如果资源有限，LoRA可能更适合，因为它参数更少，训练更快。而需要更好效果时，P-Tuning v2可能更优。同时，还要注意两者的结合使用，这在面试中可能是一个加分点。 还需要检查是否有常见的误解需要澄清，比如是否LoRA只能用于注意力层，或者P-Tuning v2是否需要修改模型结构。回答时要准确指出这些误解，并提供正确的信息。此外，面试官可能会问及参数效率、训练速度、显存占用等实际因素，这些都需要详细对比。 最后，要确保回答结构清晰，层次分明，使用适当的Markdown格式，如表格和代码块，来增强可读性。同时，语言要简洁，避免冗长，但又要覆盖关键点。可能还需要补充一些示例，比如代码片段，展示如何实现这两种方法，帮助用户更好地理解。</think>以下是针对P-Tuning v2和LoRA微调技术的典型面试问题及参考答案整理，采用结构化分类组织： --- ### 一、基础概念题 **Q1: 简述P-Tuning v2的核心改进** *A1:* - 解决v1版本的两大痛点： 1. **深度连续性**：在每一层Transformer都插入可训练提示向量（Prefix-tuning思路） 2. **参数效率**：通过多层共享提示参数减少参数量（典型配置：每层共享256维向量） - 数学形式： 对第$l$层输入的增强： $$ h^{(l)} = [P^{(l)}; h^{(l)}_{original}]W^{(l)} $$ 其中$P^{(l)}$为可训练提示向量 --- ### 二、对比分析题 **Q2: LoRA与P-Tuning v2的本质区别** *A2:* | 维度 | LoRA | P-Tuning v2 | |------------|-------------------------------|------------------------------| | **修改位置** | 权重矩阵旁路（$W + \Delta W$） | 输入空间扩展（添加prefix） | | **参数分布** | 分散在多层线性层 | 集中在输入/各层prefix | | **显存占用** | 较高（需缓存适配器梯度） | 较低（仅提示向量相关参数） | | **适配速度** | 更快收敛（直接修改权重） | 较慢（依赖prompt语义学习） | **Q3: 为什么LoRA常采用较小的rank值？** *A3:* 1. **低秩假设**：语言模型的权重更新具有低秩特性（rank=8时可保留95%以上信息） 2. **计算优势**：分解矩阵$B \cdot A$的参数量为$r(d_{in}+d_{out})$，当$r \ll min(d_{in},d_{out})$时显著减少参数 3. **过拟合控制**：限制秩相当于隐式正则化（实验表明rank=8在多数任务表现最佳） --- ### 三、实现细节题 **Q4: 如何为LoRA选择目标层？** *A4:* 1. **经验法则**： - 优先选择`query`和`value`投影层（对语义理解最关键） - 输出层`dense`适配对生成任务更有效 2. **实验策略**： ```python # Hugging Face实现示例 peft_config = LoraConfig( target_modules=["query", "value", "dense"], # 关键层 r=8, lora_alpha=32, lora_dropout=0.1 ) ``` **Q5: P-Tuning v2如何实现参数共享？** *A5:* 通过**分块共享策略**： - 将深度网络划分为多个块（如每4层为一组） - 同一块内共享相同的提示向量 - 代码实现示例： ```python class PrefixEncoder(nn.Module): def __init__(self, num_layers, hidden_size): self.prefix = nn.Parameter( torch.randn(num_layers//4, prefix_length, hidden_size) ) # 每4层共享一个prefix ``` --- ### 四、应用场景题 **Q6: 何时选择LoRA/P-Tuning v2？** *A6:* 决策树分析 ```mermaid graph TD A[目标任务需求] --> B{需要快速迭代?} B -->|是| C[LoRA] B -->|否| D{数据量小于1万条?} D -->|是| E[P-Tuning v2] D -->|否| F[Full Fine-tuning] ``` **Q7: 如何结合两种方法？** *A7:* 混合微调策略（Hybrid-tuning）： 1. **底层用LoRA**：增强基础语义理解能力 2. **高层用P-Tuning**：精细控制生成方向 3. 参数分配比例建议：7:3（LoRA层数 : P-Tuning层数） --- ### 五、实战陷阱题 **Q8: 为什么LoRA微调后模型会出现输出重复？** *A8:* 典型问题与解决方案： - **根本原因**：低秩适配导致生成多样性下降 - **调试方法**： 1. 增加`lora_dropout`值（0.1→0.3） 2. 调整`lora_alpha`（建议保持alpha/r=4） 3. 添加生成惩罚项： ```python model.generate(..., repetition_penalty=1.2) ``` **Q9: P-Tuning v2在长文本任务中效果差的可能原因** *A9:* 1. **位置编码冲突**：添加的prefix挤占原始token位置信息 2. **解决方案**： - 使用RoPE等相对位置编码 - 限制prefix长度（建议不超过总长度的10%） --- ### 六、前沿扩展题 **Q10: 如何理解LoRA与QLoRA的关系？** *A10:* - **QLoRA三要素**： 1. **4-bit量化**：通过NF4数据类型压缩原始模型 2. **双适配器**：在量化和反量化步骤插入LoRA 3. **分页优化器**：解决显存峰值问题 - **关键优势**：相比原始LoRA显存占用减少33%（7B模型可在24GB显存运行） --- ### 附：高频考点速记表 | 考点 | LoRA要点 | P-Tuning v2要点 | |----------------------|-------------------------------------|-----------------------------------| | 核心创新点 | 低秩矩阵分解 | 深度连续提示向量 | | 参数效率 | 约0.1%原始参数量 | 约0.3%原始参数量 | | 显存占用 | 较高（需存储适配器梯度） | 较低（仅提示向量） | | 典型应用场景 | 数据量中等（1万-10万条） | 小样本（<1千条） | | 与全量微调的效果差距 | 差距较小（平均差2-3%） | 差距较大（差5-8%） | 掌握这些核心要点，可以应对90%以上的技术面试相关问题。实际回答时建议结合具体实验数据（如「在XX数据集的实验中，LoRA仅用1.5%参数即达到97%的全量微调效果」）增强说服力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值