Prompt Learning全面梳理扫盲

已于 2022-04-18 00:17:18 修改
阅读量1.8k 收藏 12
点赞数
分类专栏： NLP(包含深度学习) 文章标签： 深度学习 自然语言处理 prompt learning 小样本学习 few-shot
于 2022-04-02 16:32:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_22795223/article/details/123923311
版权
本文概述了PromptLearning的发展历程，详细探讨了模板设计、Verbalizer工程及训练策略，旨在帮助读者理解PL在少样本工业场景中的潜力，并提供后续研究和实践的导向。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Prompt Learning（PL）对工业界few-shot等场景的潜力是巨大的，在此参考各大牛的整理，根据自己的理解重新进行了PL的全面梳理扫盲，后续读者可以根据各个探索方向（如Answer Engineering）进行相关论文文献的跟进。以下内容均为PPT形式。

在这里插入图片描述
在这里插入图片描述

1. 发展过程

在这里插入图片描述
在这里插入图片描述

2. Prompt Learning 工作流

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3. 探索方向

在这里插入图片描述
在这里插入图片描述

3.1 Template设计(Prompt Template Engineering)

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3.2 Verbalizer相关设计 (Answer Engineering)

在这里插入图片描述

3.3 训练策略(Prompt-based Training Strategies)

在这里插入图片描述

4. 总结

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5. 参考资料

hugging face
NLP新宠——浅谈Prompt的前世今生
Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classification (KPT)
Prompt 如何更好地应用于工业界？
【NLP】Prompt Learning 超强入门教程
Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing

大规模语言模型从理论到实践 有监督下游任务微调
AGI×大数据，开启智能时代的认知跃迁；解码AGI，赋能数据驱动的智能革命。
08-27 581
大规模语言模型从理论到实践：有监督下游任务微调 关键词： 大规模语言模型，微调，自然语言处理，预训练，监督学习，Transformer，BERT，NLP，下游任务
深度解析：大模型微调的原理、应用与实践
qq_25893567的博客
09-01 2241
大模型微调的原理
前瞻洞察｜Prompt Learning（提示学习）——新的低资源场景克星
山石网科的博客
06-02 1007
自从Prompt Learning技术提出以来，迅速受到研究人员及相关从业人员的关注，并基于多个方向展开深度研究开拓，从最初的手动设计Prompt到之后的自适应优化学习Prompt，再到一系列更加精细化、复杂化的Prompt设计，感兴趣的同学可以关注其技术脉络，或许你会有一种豁然开朗的感觉，“原来还可以这么实现！但是，这些预训练模型通常只适用于特定的任务和数据集，不能够直接用于新的任务，在很多情况下，需要业务专家基于任务需求进行微调才能够得到更好的表现，无法充分发挥预训练语言模型的能力。
Prompt-Learning
weixin_42223207的博客
02-15 3262
Prompt-Learning     Prompt Learning(提示学习)是指对输入文本信息按照特定模板进行处理，把任务重构成一个更能充分利用预训练语言模型处理的形式。Prompting使得预训练模型和下游任务之间更加接近，这一点儿与fine-tuning不同，fine-tuning是使用预训练模型做下游任务，prompt learning是各种下游任务适应预训练模型，根据不同的预训练模型重构下游任务。 不同的prompt learning学习任务 这里重点介绍基于清华大学公开的openprompt
Prompt Learning和Instruction Learning
最新发布
weixin_48142571的博客
03-23 646
Prompt Learning 和 Instruction Learning 都是利用提示 (prompt) 来引导大型语言模型 (LLM) 执行特定任务的方法，但它们在多个方面存在显著区别。Prompt Learning 的优势在于可以利用预训练模型的已有知识，因此不需要大量的标注数据。固定预训练模型的参数，只调整 prompt 的参数 (例如，调整虚拟 token 的 embedding)。连续的prompt/soft prompt: 使用可学习的embedding, 而不是具体的文本。
提示学习（Prompt-learning）
weixin_42424479的博客
06-23 7740
该阶段需要大量任务相关的训练数据，通过特征工程和算法，比较有代表的算法是朴素贝叶斯Naïve Bayes、支持向量机SVM、逻辑回归LR等；模板（Template）的功能是在原有输入文本上增加提示语句，从而将原任务转化为MLM 任务，可以分为离散型和连续型两种。模板由不同字段构成，可任意组合。每个字段中的关键字定义了数据文本或者提示文本，即 input_ids，属性可定义该字段是否可截断，以及对应的 position_ids，token_type_ids 等。什么是MLM 任务？
Prompt Learning 简介
jxsdq的博客
01-13 1万+
• Prompt Learning 可以将所有的任务归一化预训练语言模型的任务• 避免了预训练和fine-tuning 之间的gap，几乎所有 NLP 任务都可以直接使用，不需要训练数据。• 在少样本的数据集上，能取得超过fine-tuning的效果。• 使得所有的任务在方法上变得一致。
【大模型】Prompt Learning 提示学习
酒酿小圆子呀～
06-17 1686
传统的监督学习任务，是去训练一个模型P(y|x)，接收x作为输入，去预测y。Prompt learning则依赖于预训练语言模型P(x)，通过引入合适的模版template将输入x调整为完形填空格式的x’，调整后的输入x’里含有某些空槽，利用语言模型P将空槽填充后就可以推断出对应的y。例如对于情感分析任务，传统的做法就是训练一个判别模型，去预测输入x对应的标签是positive或者negative，但是如果是prompt learning，则是利用合适模版，将输入x调整为 [x], it is [z]。
一文看遍AI行业大模型
mama19971023的博客
08-02 1007
通用大模型技术快速发展，但很多传统行业推进得并不快。对企业而言，大模型应用需要综合考虑专业性、数据安全、持续迭代和综合成本等多种因素。针对这些现实情况，腾讯集团提出重点发展行业大模型的理念。本文基于一线大量实践反馈，做出系统归纳总结，呈现行业大模型发展真实情况，厘清关键争议和困惑问题。真正解决用户需求、距离场景和数据更近的企业，将拥有大模型的未来。
Prompt learning入门
zenRRan的博客
03-19 1801
每天给你送来NLP技术干货！来自：NLP日志提纲1简介2NLP发展的四个阶段3Prompt learning4Prompt engineering5Answer engineer...
【prompt learning提示学习】
CrazyDog_JJ的博客
09-19 937
提示学习是指对输入文本信息按照特定模板进行转换，把任务重构成一个更能充分利用预训练语言模型处理的形式。
NLP的“第四范式”之Prompt Learning总结：44篇论文逐一梳理
Paper weekly
10-24 5606
©作者 |杨浩单位|阿里达摩院研究方向|自然语言处理背景随着 GPT-3 诞生，最大的版本多达 1750 亿参数，是 BERT-BASE 的一千多倍。事实上 GPT-3 的论文叫...
Prompt Learning详解
m0_53292725的博客
04-15 1万+
现阶段NLP最火的两个idea 一个是对比学习（contrastive learning） 另一个就是 prompt prompt 说简单也很简单 看了几篇论文之后发现其实就是构建一个语言模板 但是仔细想想又觉得复杂 总感觉里面还有很多细节 因此我想从头到尾梳理一下prompt 很多地方会把它翻译成[范式] 但是这个词本身不好理解 我个人更倾向于看作是模板 首先我们要知道预训练模型（Bert为首）到底做了什么？ 我觉得是预训练模型提供了一个非常好的初始化参数 这组参数在预训练任务上的表现非常好（预训.
提示学习（Prompt Learning）综述
热门推荐
Winterfell01的博客
08-14 1万+
提示学习（prompt learning）概念，分类及与提示学习相关的一些方法（In-Context Learning, Instruction Tuning, Chain of Thought和Least-to-Most prompting）介绍
prompt learning
whaosoft143ai的博客
11-13 1181
所以CPT把问题转换为颜色预测的任务：看一些被涂上不同颜色的图片，然后把文本当作问题，最后回答什么颜色的图片是问题的答案并填空，再换句话说，原来想问你在一张人在看马的图片里，哪个是人，现在直接问你，什么颜色的人在看马，因为我们知道哪块被填上了颜色，所以解决了这个问题。这篇文章的出发点很有新意，一直以来我们做prompt都是在图片或者文本一个模态做prompt，这篇文章觉得只在其中一个模态（分支）做prompt只能达到次优的性能，所以他们提出应该在每一个模态都应该做prompt，示意图如上所示whaosoft
【NLP】Prompt Learning-使用模板激发语言模型潜能
fengdu78的博客
08-27 1534
最近又出了个比较吸引人眼球的Prompt Learning，甚至该方法还被称之为NLP的“第四范式”，具体有哪几项请参考以下链接：综述文章：https://arxiv.org/pdf/21...
Prompt Learning
LuvLive的博客
03-12 500
关于Prompt learning的理解，主要依托于：Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing
Prompt learning 教学[进阶篇]：简介Prompt框架并给出自然语言处理技术：Few-Shot Prompting、Self-Consistency等；项目实战搭建知识库内容机器人
丨汀、的博客
05-12 2293
其实我这个需求，在传统的机器人领域已经有现成方法，比如你应该看到不少电商客服产品，就有类似的功能，你说一句话，机器人就会回复你。这种传统的机器人，通常是基于意图去回答人的问题。举个例子，我们构建了一个客服机器人，它的工作原理简单说来是这样的：当用户问「忘记密码怎么办？」时，它会去找最接近这个意图「密码」，每个意图里会有很多个样本问题，比如「忘记密码如何找回」「忘记密码怎么办」，然后这些样本问题都会有个答案「点击 A 按钮找回密码」，机器人会匹配最接近样本问题的意图，然后返回答案。
综述！Prompt 学习和微调(Prompt Learning and Tuning)
Kaiyuan_sjtu的博客
04-12 811
作者丨Jarvis73整理丨极市平台https://zhuanlan.zhihu.com/p/601905339大家好，这里是 NewBeeNLP。Self-Attention 和 Transformer 自从问世就成为了自然语言处理领域的新星. 得益于全局的注意力机制和并行化的训练, 基于 Transformer 的自然语言模型能够方便的编码长距离依赖关系, 同时在大规模自然语言数据集上并行...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Xu_Wave

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值