大模型之提示词工程原理——提示学习(prompt learning)

大模型提示词工程背后的原理:深入理解Prompt Learning(提示学习) 目前AI大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 , 大模型作为其中的重要组成部分 , 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力, 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 ,为各行各业带来了革命性的改变和机遇 。 阅读详情

“ 知其然也要知其所以然,为什么会有提示词工程?”

了解和使用过大模型的人应该都知道提示词工程,即使不了解提示词工程,至少也应该听说过,提示词工程说白了就是一种和大模型交流的方法,它的作用就是让大模型更好的理解人类的需求。‍‍‍‍‍‍‍‍

而且在网上很多关于大模型提示词的文章和视频中,都提到了提示词的质量能够直接影响到大模型的性能和推理效果。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

但很少有人能明白这是为什么?为什么不同的提示词会产生完全不同的效果。‍‍‍‍‍‍‍‍

今天我们就来透过现象看本质,深入了解一下提示词工程。‍‍

01.提示词工程的背后‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

要知其然也要知其所以然‍

在我们学习大模型技术的时候,很多文章和视频教程都告诉我们要写好提示词,好的提示词能直接影响到大模型的输出质量。‍‍‍‍‍‍

但从来没有人告诉你,为什么不同的提示词会得到完全不同的结果,换句话说为什么会有提示词的出现?‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

在这里插入图片描述

技术的出现是有一个先后顺序的,先有的提示词,再有的提示词工程;提示词工程是为提示词服务的,目的就是怎么写出一个更好的提示词。

简单来说就是,大家把写提示词的经验总结成一种方法,这个方法就叫做提示词工程。‍‍‍‍‍‍‍‍

OK了解了提示词和提示词工程之间的关系,那么就来回答上面那个问题。‍‍‍‍‍‍‍‍‍‍‍‍‍‍

为什么会有提示词?

提示词的产生是有历史原因的,虽然这个历史很短。

我们知道人工智能的发展经历了多个阶段,虽然近些年机器学习大行其道,但并没有产生特别大的影响,直到openAI基于Transformer架构开发出了GPT系列,特别是GPT-3版本发布,以及谷歌发布的BERT模型。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

在GPT和BERT模型开发前期,由于参数量小,模型体量也小,直接的结果就是当时的模型训练成本比较低;因此,那时开发大模型主要以预训练和微调为主。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

这时研究深度学习模型的方法也被称为——预训练-微调范式。‍‍‍‍‍‍

在这里插入图片描述

但直到GPT-3的出现,模型的参数出现爆炸式增长,直接从刚开始的上亿参数量增长到上千亿参数量;这时大模型这个词出现了,大模型代表的不只是模型规模大,参数量多;也代表着模型的训练和微调成本直线上升。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

比如说,GPT-3模型训练成本好像达到了上千万美元;因此,从成本的角度训练和微调模型不再是一个好的选择。

这时,大家就开始考虑一个问题,上千亿参数的模型已经具有了非常丰富的知识量,那么怎么更好的更有效率的利用好这些知识呢?‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

我们知道,在预训练和微调学习范式中,需要通过训练数据不断调整模型的参数来让模型达到最优解。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

而经过一段时间的研究和实验,这时就有人发现了一种在不需要调整大模型参数的情况下,用少量样本或零样本的方式,就可以让大模型输出更好的结果。‍‍‍‍‍‍‍

基于这种结果,人们又经过其它研究发现,对同一个问题使用不同的提示词会输出不同的结果。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

在这里插入图片描述

简单来说就是,提示词写的越好,模型的输出效果越好,因此就把这种现象命名为提示学习。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

而为什么会产生这种现象,这个就像大模型的涌现能力一样,它是一种现象,但不知道产生的原因。‍‍

所以总结来说,提示学习是一种基于实验发现的一种现象,它能够在不改变模型参数的前提下,让模型拥有更高的输出质量。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

因此,基于提示学习这个理论就产生了提示词,而怎么把提示词写的更好就有了提示词工程。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

不同提示词产生不同效果的原因

网上也有这种说法,在预训练-微调阶段是让大模型去适配不同的任务;比如,电商类大模型需要用电商数据进行训练或微调,工业类大模型需要使用工业数据进行训练或微调。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

而提示学习阶段,却是让任务去适配大模型;就类似于男女之间的感情,在之前大都是男追女,男人需要给女人买礼物,请客吃饭等等,需要花费大量的金钱;而最近两年男人突然明白过来了,我不追了,花钱把自己收拾干净,买房买车让女人倒追。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

在这里插入图片描述

下面我们用一个例子来说明为什么提示词不同,效果也不同,拿一个情感分类任务来说:‍‍‍‍

问题 Q = “这个电影不错”‍

‍‍‍‍‍

加上提示词模板P_Q = “这个电影不错,我很喜欢,因此这是一个X电影”。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

这里的X就是大模型需要预测的结果,而如果再把这个X加一个限定范围,比如A:无趣的,B:好玩的;这时大模型就可以轻易的判断出这是一个好玩的电影。‍‍‍‍‍‍‍‍‍

而不加提示词模板,模型给出的答案可能就千奇百怪,比如说这是一个难看的电影,这是一个糟糕透顶的电影,这是一个某某主演的关于某某事情的电影等等,都是有可能的。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

而这就是为什么提示词工程中有些人会要求,写提示词要给大模型设定角色,背景,明确任务要求,限定任务范围等要求。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

基于NLP自然语言处理模型开发的人工智能机器人,感兴趣的可以点击查看:‍‍‍‍‍

总结

简单来说,不论是预训练-微调,还是提示词都是为了让模型表现的更好,为了发挥大模型庞大知识能力的一种方式,而提示词是一种成本相对较低的方式。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

而对使用者来说,使用第三方模型是根据Token进行计费的,而更长的提示词意味着更多的Token,因此怎么写出一个简短又高质量的提示词就是一个需要考虑的问题。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段(10天):初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么?
  • 大模型是怎样获得「智能」的?
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例:向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段(30天):高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示(Embeddings)
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段(30天):模型训练

恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2:手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段(20天):商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身:基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例:如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

提示学习:让提示词成为可训练、可审计的第一类公民 提示学习是一种将提示构造过程从人工经验转化为可计算、可优化任务的技术范式,其核心在于建模‘输入-任务-上下文’到最优提示模板的映射关系。它基于可微分提示与上下文感知重写原理,通过参数化插槽、向量化重写和检索增强机制,在不修改模型权重的前提下实现动态适配。相比传统微调与静态提示工程,提示学习显著提升小样本冷启动、多角色语义漂移及实时反馈场景下的响应一致性与业务可解释性,已在金融核保、法律摘要、客服对话等B端系统中验证技术价值。本文聚焦可微分提示与提示优化器的工程落地路径。 阅读详情

相关推荐

12个大模型提示工程(prompt)技巧

LLMs应该不仅能够执行数学推理,还应该能够进行符号推理,涉及与颜色和对象类型相关的推理。LLMs应该能够将输入转换为一个字典,其中实体和值根据它们的数量进行分类,同时过滤掉非蔬菜实体。

具身机器人和通用AI 3908

大模型之提示词工程原理:提示学习(prompt learning)

简单来说,不论是预训练-微调,还是提示词都是为了让模型表现的更好,为了发挥大模型庞大知识能力的一种方式,而提示词是一种成本相对较低的方式。而对使用者来说,使用第三方模型是根据Token进行计费的,而更长的提示词意味着更多的Token,因此怎么写出一个简短又高质量的提示词就是一个需要考虑的问题。AI大模型作为人工智能领域的重要技术突破,正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口,掌握AI大模型的知识和技能将变得越来越重要。

m0_56255097的博客 2397

一文读懂「Prompt Engineering」提示词工程 基础版

提示工程(Prompt Engingering),也被称为上下文提示(In-Context Prompting),指的是通过结构化文本等方式来完善提示词,引导LLM输出我们期望的结果。通过提示词工程可以在不更新模型权重的情况下,让LLM完成不同类型的任务。其主要依赖于经验,而且提示词工程方法的效果在不同的模型中可能会有很大的差异,因此需要大量的实验和探索。提示工程旨在获取这些提示并帮助模型在其输出中实现高准确度和相关性,掌握提示工程相关技能将有助于用户更好地了解大型语言模型的能力和局限性。

女王の专属领地 3万+

AI新宠:Prompt Learning,用提示学习调教大模型

“提示学习”对于很多人来说都是新名词,Prompt Learning和Prompting这两者之间有什么区别和联系呢?现在的一些大模型如何利用“提示语言”呢?本期直播课为大家做了详细介绍,从 AI 范式的一个变迁,到提示学习(Prompt Learning)和“提示”的有趣小例子!快跟微软 ATP 一起来看看吧!▍走近“大”模型目前,当谈及 AI 技术的时候,它的最核心的一点,就是“模型...

YeJuliaLi的博客 2124

大模型基础02:GPT家族与提示学习

GPT(Generative Pre-trained Transformer)是 Google 于2018年提出的一种基于 Transformer 的预训练语言模型。它标志着自然语言处理领域从 RNN 时代进入 Transformer 时代。

AaronZZH 的博客 2068

如何使用JMeter进行大模型的压力测试?

使用JMeter进行大模型的压力测试,核心是通过模拟高并发请求,测试大模型在极限负载下的性能表现(如响应时间、吞吐量、错误率、资源瓶颈等)。通过以上步骤,可系统性评估大模型在高压下的性能极限,为优化模型(如量化、蒸馏)、扩容硬件(增加GPU)或调整接口限流策略提供数据依据。)、请求方式(POST)、认证方式(API Key放在Header)、请求参数(作用:避免瞬间高压压垮系统,更精准找到瓶颈点。等)、响应格式(同步/流式)。需获取:API地址(如。通过CSV文件引入不同。

alankuo的专栏 794

AI大模型干货:提示词工程原理——提示学习(prompt learning)

简单来说,不论是预训练-微调,还是提示词都是为了让模型表现的更好,为了发挥大模型庞大知识能力的一种方式,而提示词是一种成本相对较低的方式。而对使用者来说,使用第三方模型是根据Token进行计费的,而更长的提示词意味着更多的Token,因此怎么写出一个简短又高质量的提示词就是一个需要考虑的问题。如果你真的想学习大模型,请不要去网上找那些零零碎碎的教程,真的很难学懂!你可以根据我这个学习路线和系统资料,制定一套学习计划,只要你肯花时间沉下心去学习,它们一定能帮到你!

2401_85375186的博客 1100

【FreeSwitch开发实践】外呼网关配置(拨打电话)

FreeSwitch开发一个重要应用是外呼,所谓外呼就拨打真实电话或手机号呼叫,配合语音机器人可以实现智能客服的功能。外呼配置主要是配置外呼服务器,外呼服务器主要指SIP网关,每个外呼服务器就是一个SIP节点,FreeSwitch服务也可以是一个SIP节点。本文主要介绍了FreeSwitch外呼相关配置,主要有外呼配置的模式,包括注册模式和非注册模式网关加载的查看方法拨号中常见的呼出配置和呼入配置如果觉得有些帮助或觉得文章还不错,请关注一下博主,你的关注是我持续写作的动力。............

xiao2macf的专栏 1万+

初学者入门大模型之提示词工程原理——提示学习(prompt learning)

了解和使用过大模型的人应该都知道提示词工程,即使不了解提示词工程,至少也应该听说过,提示词工程说白了就是一种和大模型交流的方法,它的作用就是让大模型更好的理解人类的需求。

2401_85325726的博客 1381

【MATLAB-app】系列教程(含视频)第4、5、6课:实战_制作简单的图像处理软件

写作时间: 2020-12-27 我的教程目录 第1课:初步了解appdesigner 第2课:学会制作一个计算器 第3课:学习更多的控件(重点!) 第4课:实例1:制作一个图像处理软件 第5课:学习APPdesigner的设计精髓,框架 第6课:结合使用多种控件,函数等,丰富我们的实例1 第7课:app设计打包,完成工程应用导出 标题: 第4课:我的实例_学会制作一个图像处理软件 本文目录: 1.先看看我之前的一个工程 2.常用的基本组件控件 3.最常用且实用的控件的用法 -3.1 editfilel

wind 4055

Python 爬虫实战:华尔街见闻精选文章爬取(反反爬 + 投资情绪分析)

Python 爬虫实战:华尔街见闻精选文章爬取(反反爬 + 投资情绪分析)

yansideyucsdn的博客 970

揭秘大模型核心技术:提示词工程原理与提示学习(Prompt Learning)

知其然也要知其所以然,为什么会有提示词工程?了解和使用过大模型的人应该都知道提示词工程,即使不了解提示词工程,至少也应该听说过,提示词工程说白了就是一种和大模型交流的方法,它的作用就是让大模型更好的理解人类的需求,具体的可以看之前的文章。‍‍‍‍‍‍‍‍而且在网上很多关于大模型提示词的文章和视频中,都提到了提示词的质量能够直接影响到大模型的性能和推理效果。但很少有人能明白这是为什么?为什么不同的提示词会产生完全不同的效果。‍‍‍‍‍‍‍‍今天我们就来透过现象看本质,深入了解一下提示词工程。‍‍01。

Everly_的博客 2531

STM32F767 GPIO跑马灯工程从零搭建指南

嵌入式开发中,基于HAL库的STM32工程初始化是确保外设可靠运行的基础环节。其核心在于理解芯片时钟树配置原理、GPIO工作模式与硬件电气特性之间的映射关系。正确启用RCC时钟源、合理分配AHB/APB总线分频系数,可保障系统主频稳定;而精准设置推挽输出、上下拉状态及引脚速度,则直接影响LED等基础外设的驱动可靠性。结合STM32CubeMX图形化配置工具,开发者能将寄存器级操作抽象为可视化流程,显著提升工程可追溯性与复用性。本文以STM32F767IGT6和阿波罗开发板为载体,详解从Repository固

weixin_42453228的博客 62

提示词学习:轻量级大模型适配的工程化新范式

提示词学习(Prompt Learning)是一种将自然语言提示转化为可训练连续向量的技术范式,其核心在于不修改大模型主干参数,仅通过新增少量可学习嵌入(如Prefix、Prompt Tuning向量)实现任务适配。它融合了传统提示工程的低开销优势与微调方法的效果上限,在小样本、低算力、强合规约束等现实场景中展现出独特技术价值。相比全参数微调,它规避灾难性遗忘,保障模型通用能力;相比纯提示工程,它支持自动化迭代与跨任务复用。当前已在金融风控、智能客服、政务问答等需快速交付、高语义鲁棒性的垂直领域规模化落地,

weixin_33805992的博客 439

手把手教程 | 使用 apktool 修改已发布 APK 的版本号与版本名称

摘要:本文介绍如何使用apktool工具直接修改APK版本信息,适用于版本回滚、多版本测试等场景。详细步骤包括反编译APK、修改版本号、重打包、对齐优化和重新签名,并分享了反编译相关实用知识。该方法无需源代码参与,但需注意修改后的APK必须重新签名才能安装。最后强调应在合法范围内使用反编译技术。

学无止境 829

AUTOSAR OS Counter讲解

Counter(计数器)以tick为单位记录操作系统中发生了多少“事情”。tick(滴答)是一个抽象的单位。时间,例如毫秒,微妙,分钟等,然后计数器计算过去了多少时间旋转,例如以度或分钟为单位,计数器计算物体旋转了多少按钮按下,计数器计算按钮按下多少次错误,计数器计算错误发生的频次中断(有时是任务)用于驱动一个计数器。该驱动程序负责进行正确的OS API调用来滴答计数器,或者告诉OS计数器已经滴答到一个所需的值。

酒无忧的博客 1078

【大模型提示词工程】提示词工程会被“提示学习(Prompt Learning)”取代吗?

提示词工程会被“提示学习(Prompt Learning)”取代吗?

人工智能(AI)技术,大模型技术,深度学习,机器学习,计算机视觉,AI工具实践应用等分享 857

全志T527-TP9930-Camera

TP9930 驱动模块主要实现将 4 路的 AHD/TVI/CVBS Camera 的数据转换为 BT656/BT1120 数据,从而实现在 T527 端来对数据进行处理和送显。

Linux驱动开发工程师,熟悉Linux/Android底层驱动、TP、显示、IIC、网络等通用外设调试适配,Linux上层应用开发。常用平台瑞芯微、全志、恩智浦等。 3237
上一篇: 2万字长文,如何成为一个“懂”AI 的产品经理?
下一篇: RAG 应用效果不太理想?试试以下RAG优化策略大幅提升问答效果
Python_金钱豹
博客等级 码龄5年 1万+粉丝 2840原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值