Prompt-Tuning这么好用？

最新推荐文章于 2025-04-19 20:18:16 发布

炼丹笔记

最新推荐文章于 2025-04-19 20:18:16 发布

阅读量522

点赞数

文章标签：深度学习机器学习人工智能 python 自然语言处理

本文链接：https://blog.youkuaiyun.com/m0_52122378/article/details/122391836

版权

KPT（Knowledgeable Prompt-tuning）是一种利用外部知识改进预训练模型的方法，尤其适用于小样本文本分类任务。通过构建包含多种粒度信息的label words集合，KPT能有效降低人工verbalizer的限制和偏差，提升模型的泛化能力。该方法包括构造、精炼和利用三个阶段，旨在构建一个全面且低偏见的verbalizer。实验结果显示，KPT在文本分类任务上表现出色，特别是在处理知识相关的问题上。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用prompts去调节预训练模型处理文本分类任务在小样本上已经取得了比直接finetuning模型更好的效果，prompt-tuning的核心思想就是嵌入一小段文本，比如对于文本分类任务，将其转变成填空任务，还有就是构建个映射器(verbalizer)可以在label和word之间相互映射，verbalizer是人工精妙设计的且用梯度下降学习的。论文提到verbalizer可能缺少覆盖度且引入很高的偏差和方差，所以论文提出引入额外知识到verbalizer里，构建一个Knowledgable Prompt-tuning(KPT)去提升效果。Finetuning虽然效果很好，但是也需要充足的样本去重新训练网络，在模型tuning领域，有很多prompts的研究在预训练目标和下游任务构建了桥梁。论文给了个很好的例子：

句子: What's the relation between speed and acceleration?
category: SCIENCE
模板: A [MASK] question: x

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

炼丹笔记

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Prompt-Tuning——深度解读一种新的微调范式

夏栀的博客

11-19

7万+

Prompting——深度解读一种全新的微调范式自从GPT、EMLO、BERT的相继提出，以Pre-training + Fine-tuning 的模式在诸多自然语言处理（NLP）任务中被广泛使用，其先在Pre-training阶段通过一个模型在大规模无监督语料上预先训练一个预训练语言模型（Pre-trained Language Model，PrLM），然后在Fine-tuning阶段基于训练好的语言模型在具体的下游任务上再次进行微调（Fine-tuning），以获得适应下游任务的模型。这种模式在诸

LLM微调 | Prefix-Tuning, Prompt-Tuning, P-tuning, P-tuning-v2

weixin_43646592的博客

07-31

2495

LLM微调 | Prefix-Tuning, Prompt-Tuning, P-tuning, P-tuning-v2

参与评论您还未登录，请先登录后发表或查看评论

Prompt tuning/P-tuning/指令微调

the_3rd_bomb的博客

10-29

2435

训练大型预训练语言模型非常耗时且计算密集。随着模型规模的不断扩大，人们对更高效的训练方法的兴趣逐渐增加，比如使用提示（prompting）。提示技术通过包含描述任务或甚至示例任务的文本提示，来调整一个冻结的预训练模型以适应特定的下游任务。通过提示，您可以避免为每个下游任务完全训练一个独立的模型，而是使用同一个冻结的预训练模型。这种方法更为简单，因为可以使用同一个模型处理不同的任务，而只需训练并存储少量的提示参数，效率远高于训练模型的全部参数。提示微调（Prompt Tuning）本质上是一种加性微调技术。

提示学习 | Prompt-Tuning这么好用？

zenRRan的博客

01-06

1853

每天给你送来NLP技术干货！干货作者：十方来自：炼丹笔记使用prompts去调节预训练模型处理文本分类任务在小样本上已经取得了比直接finetuning模型更好的效果，prompt-t...

什么是提示微调（Prompt Tuning）

热门推荐

分享机器学习、深度学习、分布式计算、MLSys相关领域知识

06-24

1万+

Prompt Tuning是现在大模型微调方法中的一种常用方法，本文通过解读5篇论文来了解Prompt Tuning方法演进的过程。分别是Prefix-Tuning、P-Tuning v1、Parameter-Efficient Prompt Tuning、P-Tuning v2。

Visual Prompt Tuning

LuvLive的博客

02-25

807

Visual Prompt Tuning

大模型微调---Prompt-tuning微调

niulinbiao的博客

12-18

1810

大模型微调

大语言模型三种训练技术：Prompt-Tuning、Instruction-Tuning、Chain-of-Thought

u013250861的博客

05-11

2180

一切还是从BERT（BERT模型卡信息：「链接」）说起，当年Google提出BERT模型的时候，一个最大的贡献是使用了Masked Language Model（MLM），即随机掩盖输入序列的一个token，然后利用相邻的tokens预测这个token是什么，这样模型可以学会更好地理解上下文。BERT这种训练方式让模型在文本生成方面有很强的能力，因此，大家发现有时候不一定需要做fine-tuning即可让模型帮我们解决感兴趣的任务。

Prompt-Tuning：让预训练模型更高效地适配任务

花千树的专栏

03-04

947

随着预训练语言模型（如 BERT、GPT、T5）的发展，Fine-Tuning 已成为 NLP 任务中的常见方法。Prompt-Tuning 作为一种轻量级替代方案，通过添加任务相关的提示（Prompt）来调整模型的行为，极大减少了参数更新的需求，同时提升任务适配性。Prompt-Tuning 是一种高效的 NLP 任务适配方法，能够在不改变大量模型参数的情况下，引导预训练模型完成特定任务。Prompt-Tuning 的核心思想是利用 “提示模板” 来引导预训练模型的输出，而不直接修改模型权重。

【论文极速读】Prompt Tuning——一种高效的LLM模型下游任务适配方式

机器学习杂货铺1号店

09-29

2318

Prompt tuning是一种高效的LLM下游任务适配方式

Prompt Tuning 和instruct tuning

arvinChen的博客

08-25

3994

prompt的思想是，把下游任务的输入转化为预训练模型的原始任务。以bert作为举例，假设任务是文本分类。“今天天气很好。”我们想判断一下这句话的情感是正面还是负面fine-tune的方法是在bert之后接一个head，然后调整整个模型。prompt 的方法是把下游任务转化为预训练任务，我们知道bert的预训练任务是MLM，于是把“今天天气很好。”转化为“今天天气很好。我很[mask][mask]”，我们希望bert预测出"开心"两个字。然后对“开心”映射到正面情感。

Prompt-Tuning：大模型微调技术

weixin_41888295的博客

12-25

1055

本文介绍了五种常见的大模型微调技术：Adapter-Tuning、Prefix-Tuning、Prompt-Tuning（P-Tuning）、P-Tuning v2和LoRA。这些技术可以在保持模型性能的同时，显著减少模型的参数数量和计算复杂度，为资源有限场景中的NLP任务提供了有效的解决方案。P-Tuning v2是P-Tuning的改进版。微调技术，包括Adapter-Tuning、Prefix-Tuning、Prompt-Tuning（P-Tuning）、P-Tuning v2和LoRA。

提示调优（Prompt Tuning）

幼儿园大哥~

09-21

1890

提示调优为预训练模型的高效微调提供了一种强大的工具，尤其是在处理少样本、零样本或资源受限的任务时具有重要优势。硬提示和软提示作为提示调优的两大核心方法，各自适用于不同的应用场景。未来的研究方向可能集中在如何进一步提升提示调优的泛化能力，优化提示的设计，以及增强其在多任务和多模态应用中的表现。

Prompt-Tuning方法学习

qq_45749612的博客

10-24

1331

即先在Pre-training阶段通过一个模型在大规模无监督语料上训练一个预训练语言模型（Pre-trained Language Model，PLM），然后在Fine-Tuning阶段基于训练好的语言模型在具体的下游任务上进行再次微调（Fine-Tuning），以获得适应下游任务的模型。而在P-Tuning中，将模板中的P映射为一个可训练的参数h（如上图所示），此时这部分的token则称为pseudo token（soft-Prompt）。离散模板通常不稳定，且无法参与模型的训练环节，容易陷入局部最优;

参数高效微调之Prompt Tuning

yitang的博客

12-12

1249

是一种高效微调技术，旨在通过设计和优化输入提示（prompt）来指导预训练模型完成特定任务，而无需修改模型本身的权重。它是一种参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）方法，尤其适用于大规模预训练模型（如 GPT、BERT、T5 等）的下游任务。Prompt 是模型输入中的额外信息，用于引导模型执行特定任务。Hard Prompt 是指通过显式的自然语言描述作为提示，直接构造输入文本来引导预训练模型完成特定任务。这种提示通常是由人类设计的，使用自然语言表达。

清华大学刘知远组：基于Prompt Tuning对低维本征任务子空间进行探索

Paper weekly

12-19

1061

Prompt-Tuning（提示词微调）深度解析：带你看懂从离散到连续提示的技术演进

weixin_41645791的博客

11-28

6309

Prompt-Tuning 是近年来自然语言处理（NLP）领域的一项核心技术，其通过精心设计的提示（Prompt），让预训练模型更高效地适配下游任务，逐渐替代传统的 Fine-Tuning 方法，成为模型微调的高效解决方案。• 模板：“任务：[描述任务目标] 输入：[任务输入] 输出：[任务输出]”：用可训练的向量表示任务提示（Prompt），优化这些向量以适配任务。• 输入：“任务：判断评论的情感输入：我喜欢这部电影。：将分类任务建模为完形填空任务，通过离散 Prompt 优化输出。

Prompt-tuning

03-04

### 关于Prompt-Tuning的概念 Prompt-tuning是一种新兴的技术，在自然语言处理领域中用于调整预训练模型的行为，而无需修改其权重。通过优化输入到模型中的提示(prompt)，可以引导模型产生特定类型的输出。这种方法允许利用少量标注数据来定制大型预训练模型的功能，从而适应各种下游任务的需求[^2]。 ### 实现方法为了实施prompt-tuning，通常会采用如下策略： - **设计有效的提示模板**：创建能够有效指导模型生成预期响应的文本模式。这可能涉及选择合适的占位符变量以及构建有助于传达上下文信息的辅助语句。 - **参数化提示结构**：引入可学习的连续向量表示（soft prompt），这些向量可以在训练过程中被更新，以便更好地匹配目标任务的要求。这种方式使得即使对于未见过的任务也能快速适配。 - **联合训练机制**：将上述两种方式结合起来，既保留部分固定形式的硬编码提示(hard-coded prompts),又加入一些可以通过反向传播算法自动调节的学习型组件(learnable components)。 ```python import torch from transformers import AutoModelForCausalLM, AutoTokenizer tokenizer = AutoTokenizer.from_pretrained('model_name') model = AutoModelForCausalLM.from_pretrained('model_name') def tune_prompt(input_text, target_task): inputs = tokenizer([input_text], return_tensors="pt") # Add soft-prompt tokens here as needed outputs = model.generate(**inputs) tuned_output = tokenizer.decode(outputs[0], skip_special_tokens=True) return tuned_output ``` 这段代码展示了如何加载一个预训练的语言模型并定义了一个简单的函数`tune_prompt`来进行基于给定输入文本和目标任务的提示调优操作。 ### 应用场景 Prompt-tuning的应用范围广泛，涵盖了多个方面： - **对话系统增强**：提高聊天机器人理解和回应人类用户的准确性； - **情感分析改进**：使NLP工具更精准地识别不同情绪倾向的内容； - **机器翻译质量提升**：改善多语言之间的转换效果； - **文本分类性能优化**：帮助解决诸如垃圾邮件过滤等问题；值得注意的是，在实际应用中要特别关注公平性和无偏见性的问题，因为不当设置可能会无意间放大已有偏差，造成不良后果。