大模型之提示词工程原理——提示学习(prompt learning)

大模型: 提示词工程(prompt engineering) 提示词工程主要是用于优化与大模型交互的提示或查询操作,其目的在于能够更加准确的获取提问者想要获取的答案,提示词的好坏会直接影响到大模型的运行效果。 阅读详情

“ 知其然也要知其所以然,为什么会有提示词工程?”

了解和使用过大模型的人应该都知道提示词工程,即使不了解提示词工程,至少也应该听说过,提示词工程说白了就是一种和大模型交流的方法,它的作用就是让大模型更好的理解人类的需求,具体的可以看之前的文章什么是提示词工程。‍‍‍‍‍‍‍‍

而且在网上很多关于大模型提示词的文章和视频中,都提到了提示词的质量能够直接影响到大模型的性能和推理效果。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

但很少有人能明白这是为什么?为什么不同的提示词会产生完全不同的效果。‍‍‍‍‍‍‍‍

今天我们就来透过现象看本质,深入了解一下提示词工程。‍‍

在这里插入图片描述

01

—

提示词工程的背后‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

要知其然也要知其所以然‍

在我们学习大模型技术的时候,很多文章和视频教程都告诉我们要写好提示词,好的提示词能直接影响到大模型的输出质量。‍‍‍‍‍‍

但从来没有人告诉你,为什么不同的提示词会得到完全不同的结果,换句话说为什么会有提示词的出现?‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

技术的出现是有一个先后顺序的,先有的提示词,再有的提示词工程;提示词工程是为提示词服务的,目的就是怎么写出一个更好的提示词。

简单来说就是,大家把写提示词的经验总结成一种方法,这个方法就叫做提示词工程。‍‍‍‍‍‍‍‍

OK了解了提示词和提示词工程之间的关系,那么就来回答上面那个问题。‍‍‍‍‍‍‍‍‍‍‍‍‍‍

为什么会有提示词?

提示词的产生是有历史原因的,虽然这个历史很短。

我们知道人工智能的发展经历了多个阶段,虽然近些年机器学习大行其道,但并没有产生特别大的影响,直到openAI基于Transformer架构开发出了GPT系列,特别是GPT-3版本发布,以及谷歌发布的BERT模型。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

在GPT和BERT模型开发前期,由于参数量小,模型体量也小,直接的结果就是当时的模型训练成本比较低;因此,那时开发大模型主要以预训练和微调为主。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

这时研究深度学习模型的方法也被称为——预训练-微调范式。‍‍‍‍‍‍

但直到GPT-3的出现,模型的参数出现爆炸式增长,直接从刚开始的上亿参数量增长到上千亿参数量;这时大模型这个词出现了,大模型代表的不只是模型规模大,参数量多;也代表着模型的训练和微调成本直线上升。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

比如说,GPT-3模型训练成本好像达到了上千万美元;因此,从成本的角度训练和微调模型不再是一个好的选择。

这时,大家就开始考虑一个问题,上千亿参数的模型已经具有了非常丰富的知识量,那么怎么更好的更有效率的利用好这些知识呢?‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

我们知道,在预训练和微调学习范式中,需要通过训练数据不断调整模型的参数来让模型达到最优解。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

而经过一段时间的研究和实验,这时就有人发现了一种在不需要调整大模型参数的情况下,用少量样本或零样本的方式,就可以让大模型输出更好的结果。‍‍‍‍‍‍‍

基于这种结果,人们又经过其它研究发现,对同一个问题使用不同的提示词会输出不同的结果。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

简单来说就是,提示词写的越好,模型的输出效果越好,因此就把这种现象命名为提示学习。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

而为什么会产生这种现象,这个就像大模型的涌现能力一样,它是一种现象,但不知道产生的原因。‍‍

所以总结来说,提示学习是一种基于实验发现的一种现象,它能够在不改变模型参数的前提下,让模型拥有更高的输出质量。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

因此,基于提示学习这个理论就产生了提示词,而怎么把提示词写的更好就有了提示词工程。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

不同提示词产生不同效果的原因

网上也有这种说法,在预训练-微调阶段是让大模型去适配不同的任务;比如,电商类大模型需要用电商数据进行训练或微调,工业类大模型需要使用工业数据进行训练或微调。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

而提示学习阶段,却是让任务去适配大模型;就类似于男女之间的感情,在之前大都是男追女,男人需要给女人买礼物,请客吃饭等等,需要花费大量的金钱;而最近两年男人突然明白过来了,我不追了,花钱把自己收拾干净,买房买车让女人倒追。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

下面我们用一个例子来说明为什么提示词不同,效果也不同,拿一个情感分类任务来说:‍‍‍‍

问题 Q = “这个电影不错”‍

‍‍‍‍‍

加上提示词模板P_Q = “这个电影不错,我很喜欢,因此这是一个X电影”。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

这里的X就是大模型需要预测的结果,而如果再把这个X加一个限定范围,比如A:无趣的,B:好玩的;这时大模型就可以轻易的判断出这是一个好玩的电影。‍‍‍‍‍‍‍‍‍

而不加提示词模板,模型给出的答案可能就千奇百怪,比如说这是一个难看的电影,这是一个糟糕透顶的电影,这是一个某某主演的关于某某事情的电影等等,都是有可能的。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

而这就是为什么提示词工程中有些人会要求,写提示词要给大模型设定角色,背景,明确任务要求,限定任务范围等要求。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍
在这里插入图片描述

大模型提示词工程背后的原理:深入理解Prompt Learning(提示学习) 目前AI大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 , 大模型作为其中的重要组成部分 , 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力, 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 ,为各行各业带来了革命性的改变和机遇 。 阅读详情

相关推荐

大模型系列——一文看懂“提示词” vs “提示词工程” vs “上下文工程”

本文区分了AI领域的三个关键概念:提示词(Prompt)、提示词工程(Prompt Engineering)和上下文工程(Context Engineering)。提示词是直接输入给AI模型的指令文本;提示词工程则是系统化设计、测试和优化提示词的过程;而上下文工程是为AI构建动态上下文,提供恰当信息和工具的科学与艺术。文章通过翻译案例展示了提示词工程的迭代过程,并说明上下文工程在AI Agent中的核心作用——动态收集和组织必要信息。最后强调普通人只需掌握提示词编写,开发AI应用才需深入提示词工程,构建智能

2401_84052244的博客 750

大语言模型 - 提示词(Prompt)工程入门

提示词工程,或称Prompt Engineering,是一种专门针对语言模型进行优化的方法。它的目标是通过设计和调整输入的提示词(prompt),来引导这些模型生成更准确、更有针对性的输出文本。在与大型预训练语言模型如GPT-3、BERT等交互时,给定的提示词会极大地影响模型的响应内容和质量。提示词工程关注于如何创建最有效的提示词,以便让模型能够理解和满足用户的需求。这可能涉及到对不同场景的理解、使用正确的词汇和语法结构,以及尝试不同的提示策略以观察哪种效果最佳。1、明确具体:加入场景要求、具体任务。

秃了也弱了 4万+

12个大模型提示工程(prompt)技巧

LLMs应该不仅能够执行数学推理,还应该能够进行符号推理,涉及与颜色和对象类型相关的推理。LLMs应该能够将输入转换为一个字典,其中实体和值根据它们的数量进行分类,同时过滤掉非蔬菜实体。

具身机器人和通用AI 3908

什么是提示词工程(prompt engineering)?为什么需要提示词工程?

简单来说,提示词工程是一种不需要调整大模型参数或权重,就可以获取某种结果的方法。提示词的作用和应用场景都非常广泛,不论是文本生成,还是问答系统,亦或者其它场景。同一个LLM,提示词不一样生成的内容也会不一样,甚至会有很大的差别。所以,从这个角度来说,提示词工程是一种更好地使用大模型的方法。学好提示词,能够让你更好、地使用和操作大模型,并且得到更好的结果。

m0_59235945的博客 8895

ENVI5.6+SARscape实战:基于哨兵一号的PS与SBAS时序InSAR地表形变监测全流程解析

本文详细解析了使用ENVI5.6和SARscape软件基于哨兵一号数据进行PS与SBAS时序InSAR地表形变监测的全流程。从数据获取、预处理到PS-InSAR和SBAS-InSAR处理,提供了实用技巧和优化建议,帮助用户高效完成地表形变监测任务。

weixin_29245767的博客 1158

STM32 HAL 模拟I2C从机实战:软件实现与多设备通信优化

本文详细介绍了STM32 HAL库下软件模拟I2C从机的实现方法,包括GPIO开漏配置、基础信号实现、数据收发函数编写和多设备通信优化策略。通过灵活的软件模拟方案,解决了硬件I2C接口数量限制和稳定性问题,为多传感器数据采集等应用提供了可靠的通信保障。

motor的博客 926

大模型之提示词工程原理:提示学习(prompt learning)

简单来说,不论是预训练-微调,还是提示词都是为了让模型表现的更好,为了发挥大模型庞大知识能力的一种方式,而提示词是一种成本相对较低的方式。而对使用者来说,使用第三方模型是根据Token进行计费的,而更长的提示词意味着更多的Token,因此怎么写出一个简短又高质量的提示词就是一个需要考虑的问题。AI大模型作为人工智能领域的重要技术突破,正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口,掌握AI大模型的知识和技能将变得越来越重要。

m0_56255097的博客 2400

【PCIe】CDNS PCIe VIP 杂记 -- Callback

最近在研究Cadence PCIe VIP,怎一个“惨淡”来描述。用的真是一言难尽啊,都是泪。记录一些最近学习的觉得想记录的内容在此,仅供参考讨论学习哈。有不对之处请指出大家一起讨论。

小邦是名小ICer的博客 2716

AI大模型干货:提示词工程原理——提示学习(prompt learning)

简单来说,不论是预训练-微调,还是提示词都是为了让模型表现的更好,为了发挥大模型庞大知识能力的一种方式,而提示词是一种成本相对较低的方式。而对使用者来说,使用第三方模型是根据Token进行计费的,而更长的提示词意味着更多的Token,因此怎么写出一个简短又高质量的提示词就是一个需要考虑的问题。如果你真的想学习大模型,请不要去网上找那些零零碎碎的教程,真的很难学懂!你可以根据我这个学习路线和系统资料,制定一套学习计划,只要你肯花时间沉下心去学习,它们一定能帮到你!

2401_85375186的博客 1100

UE4游戏逆向实战:从HOOK明文包到自定义发包的完整流程(附加密算法解析)

本文详细解析了UE4游戏网络通信的逆向工程完整流程。从定位线程发包点、HOOK拦截明文封包,到逆向分析加密解密算法,最终实现自定义组包与加密发送。文章结合实战案例,为游戏安全研究和技术人员提供了一套清晰、可操作的方法论。

weixin_29009081的博客 1238

微信小程序——01开发前的准备和开发工具

微信小程序——01开发前的准备和开发工具

总裁余(余登武)博客 1万+

初学者入门大模型之提示词工程原理——提示学习(prompt learning)

了解和使用过大模型的人应该都知道提示词工程,即使不了解提示词工程,至少也应该听说过,提示词工程说白了就是一种和大模型交流的方法,它的作用就是让大模型更好的理解人类的需求。

2401_85325726的博客 1381

MAC(m1)-VMWare Fusion安装CentOS7.9

MAC(m1)-VMWare Fusion安装CentOS7.9

兴趣是最好的老师 1771

揭秘大模型核心技术:提示词工程原理与提示学习(Prompt Learning)

知其然也要知其所以然,为什么会有提示词工程?了解和使用过大模型的人应该都知道提示词工程,即使不了解提示词工程,至少也应该听说过,提示词工程说白了就是一种和大模型交流的方法,它的作用就是让大模型更好的理解人类的需求,具体的可以看之前的文章。‍‍‍‍‍‍‍‍而且在网上很多关于大模型提示词的文章和视频中,都提到了提示词的质量能够直接影响到大模型的性能和推理效果。但很少有人能明白这是为什么?为什么不同的提示词会产生完全不同的效果。‍‍‍‍‍‍‍‍今天我们就来透过现象看本质,深入了解一下提示词工程。‍‍01。

Everly_的博客 2532

生成模型实战 | ProGAN详解与实现

Progressive GAN (ProGAN) 是一种通过渐进式增长网络结构来生成高分辨率、高保真图像的技术。传统 GAN 难以直接生成超过 256x256 分辨率的图像,而 ProGAN 创新性地从低分辨率开始训练生成器和判别器,逐步添加网络层以提高分辨率,直至达到1024x1024。该方法结合了像素归一化、小批次统计信息和均衡化学习率等关键技术,并使用 WGAN-GP 损失函数确保训练稳定性。ProGAN 是首个能生成1024x1024高保真人脸图像的模型,但其训练耗时较长,且对计算资源要求较高。

盼小辉丶的博客 1437

激光雷达点云配准:ICP与NDT算法详解

激光雷达点云配准:ICP与NDT算法详解​ ,人工智能,计算机视觉,大模型,AI,本文深入解析激光雷达点云配准的ICP与NDT算法。阐述了点云配准基础概念与评价指标,详解ICP算法原理、流程、最优变换矩阵计算、优缺点及改进版,给出Python代码示例;同样解析NDT算法的原理、流程、模型构建、优缺点、参数选择与代码示例。还对比两者在精度、效率、鲁棒性和适用场景的差异,提供算法选择建议,介绍实际应用案例、常见问题及解决方法,探讨算法发展趋势。

不踩坑,不知道坑有多深;不总结,踩过的坑白踩。 15万+

提示词学习:轻量级大模型适配的工程化新范式

提示词学习(Prompt Learning)是一种将自然语言提示转化为可训练连续向量的技术范式,其核心在于不修改大模型主干参数,仅通过新增少量可学习嵌入(如Prefix、Prompt Tuning向量)实现任务适配。它融合了传统提示工程的低开销优势与微调方法的效果上限,在小样本、低算力、强合规约束等现实场景中展现出独特技术价值。相比全参数微调,它规避灾难性遗忘,保障模型通用能力;相比纯提示工程,它支持自动化迭代与跨任务复用。当前已在金融风控、智能客服、政务问答等需快速交付、高语义鲁棒性的垂直领域规模化落地,

weixin_33805992的博客 439

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

提示学习:让提示词成为可训练、可审计的第一类公民

提示学习是一种将提示构造过程从人工经验转化为可计算、可优化任务的技术范式,其核心在于建模‘输入-任务-上下文’到最优提示模板的映射关系。它基于可微分提示与上下文感知重写原理,通过参数化插槽、向量化重写和检索增强机制,在不修改模型权重的前提下实现动态适配。相比传统微调与静态提示工程,提示学习显著提升小样本冷启动、多角色语义漂移及实时反馈场景下的响应一致性与业务可解释性,已在金融核保、法律摘要、客服对话等B端系统中验证技术价值。本文聚焦可微分提示与提示优化器的工程落地路径。

weixin_33137081的博客 340

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

上一篇: 一文解析如何基于 LangChain 构建 LLM 应用程序
下一篇: 大模型能力扩展之——提示词(Prompt),知识库,思维链(CoT)和Agent(代理)
大模型应用场景
博客等级 码龄5年 7683粉丝 1350原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值