Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Process

已于 2022-03-05 22:47:40 修改
阅读量340 收藏
点赞数 1
分类专栏： NLP Papers NLP AI 文章标签： 人工智能 深度学习 自然语言处理
于 2022-03-05 22:36:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/chansonzhang/article/details/123153359
版权
本文是关于自然语言处理（NLP）中新兴范式——基于提示学习的系统综述。研究指出，这种方法通过预训练语言模型和提示函数，使模型能在少量或无监督的情况下进行学习。文章详细讨论了提示方法的设计、预训练模型、答案工程以及训练策略，展示了其在知识探查、分类任务、信息提取和文本生成等多个NLP领域的应用。此外，还探讨了提示设计、答案工程以及模型选择等挑战。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Abstract

本文是对自然语言处理中一种新的范式的综述，我们将这种新范式命名为：“prompt-based learning”. 为了使用预训练语言模型来进行预测，使用模板将输入 x x x 修改为 prompt x ′ x'

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Pre-train, Prompt, and Predict A Systematic Survey of Prompting Methods in Natural Language Process
c_cpp_csharp的专栏
06-05 378
本文以自然语言处理的一种新范式综述和组织研究工作，我们称之为“基于提示的学习”。与传统的监督学习不同，传统的监督学习训练模型接受输入xxx并将输出y预测为Py∣xP(y|x)Py∣x，基于提示的学习基于直接对文本概率建模的语言模型。为了使用这些模型来执行预测任务，使用模板将原始输入xxx修改为具有一些未填充槽的文本字符串提示x′x'x′，然后使用语言模型来概率性地填充未填充的信息，以获得最终字符串x\hat xx，从中可以导出最终输出yyy。
The Prompt Report- A Systematic Survey of Prompting Techniques(2024)-翻译《Prompt报告：Prompt技术的系统综述》
最新发布
ajian005的专栏
12-22 1770
生成式人工智能（GenAI）系统正日益广泛地应用于各行各业和研究领域。开发人员和最终用户通过提示或提示工程与这些系统进行交互。尽管提示是一个广泛应用且研究深入的概念，但由于这一领域的较新性，存在着术语上的冲突和对提示本质的本体论理解不足。本文通过建立提示的结构化理解，提出了提示技术的分类法并分析其应用。我们提供了一个全面的词汇表，包含33个术语，一个包含58种仅文本提示技术的分类法，以及40种适用于其他模态的技术。此外，我们还对关于自然语言前缀提示的所有文献进行了元分析。
【论文笔记】Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in NLP
gjh1716718326的博客
10-19 6521
摘要 Unlike traditional supervised learning, which trains a model to take in an input x and predict an output y as P(y|x), prompt-based learning is based on language models that model the probability of text directly. To use these models to perform predicti
Re33：读论文 Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Languag
诸神缄默不语的博客
10-09 1635
论文阅读笔记：Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing
文献阅读 ——— Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in NLP
weixin_44695049的博客
12-24 593
这篇文章的编写的动机是为了总结NLP的第四范式Prompt Learning
prompt综述论文阅读：Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural La
开心的火龙果的博客
02-14 1816
prompt综述论文阅读：Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing
NLP之Prompt：《Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Lang
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
10-12 8735
​ NLP之Prompt：《Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing预训练、提示和预测：自然语言处理中提示方法的系统调查》翻译与解读 目录 《Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Process
【NLP】Pre-train,Prompt,and Predict
m0_62089933的博客
12-10 1142
“预训练微调”结构正在被“预训练、提示和预测”结构取代，即通过一些提示信息如填空、翻译等，通过无监督的方式训练单一的LM直接用于解决大量的问题。通过提示来控制模型的行文，问题也就转移到了提示工程，即找到最合适的提示。
NLP新宠——浅谈Prompt的前世今生
08-13
本文目标是对近期火爆异常的Prompt相关研究作一些追溯和展望，内容主要参考论文《Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing》，并掺杂了笔者的一些个人见解，欢迎大家积极讨论。
《预训练周刊》第19期：歧义短语的类量子语境性研究、自然语言处理中prompt方法的系统综述...
BAAIBeijing的博客
08-06 764
No.19智源社区预训练组预训练研究观点资源活动关于周刊超大规模预训练模型是当前人工智能领域研究的热点，为了帮助研究与工程人员了解这一领域的进展和资讯，智源社区整理了第19期《预训练周刊》...
预训练、提示和预测：NLP中提示的系统综述
qq_45331246的博客
09-28 1992
提示（Prompt）综述
CMU预训练模型最新综述：自然语言处理新范式—预训练、Prompt和预测
Paper weekly
08-02 2977
©PaperWeekly 原创 ·作者|王馨月学校|四川大学本科生研究方向|自然语言处理概要本文针对自然语言处理的新范式——我们称之为“prompt-based 学习”，进行...
文本prompting综述
weixin_42561936的博客
10-05 900
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
【论文笔记】Pre-train, Prompt, and Predict
volcano_66的博客
02-13 1089
语言模型的参数不进行改变，添加提示，并在提示部分引入额外参数。仅对提示部分的参数进行训练。语言模型的参数参与训练，提示部分的参数固定，与上一种方法相反。
预训练、提示和预测：NLP提示方法的综述
yorkhunter的博客
06-28 509
23年1月来自CMU和国立新加坡大学ACM Computing Surveys发表的综述论文“Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing“。
预训练新范式！为什么Prompt会更有效？
Kaiyuan_sjtu的博客
01-17 6145
作者|上杉翔二悠闲会·信息检索整理|NewBeeNLP「Prompt Tuning也许会是深度学习时代的Feature Engineering问题，如何给各大...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值