自从ChatGPT
Chat Generative Pre-trained Transformer于2022年11月30日发布以来,一个新兴的行业突然兴起,
那就是Prompt engineering提示工程,可谓如日冲天。
从简单的文章扩写到RAG,ChatGPT展现了前所未有的惊人能力。
今天我们将向大家介绍与提示工程相关的方法论 和 框架
1、提示工程总览
提示工程技术大概可以分成四类:
- 基于样本提示技术
- 思维链技术
- 自动增强技术
- 交互与推理技术
由于篇幅有限,这篇文章将首先从一些相对简单易懂的方法论和框架开始
包括:
-
零样本提示
Zero-shot
-
少样本提示
Few-shot
-
思维链
Chain-of-Thought / CoT
-
自动思维链
Automatic CoT
-
自洽
Self-consistency
请看下方标有✅的部分
以下是它们各自的发布时间线:
2、基于样本提示
Zero-shot
Zero-shot提示
是自然语言处理(NLP)中的一项强大技术,广泛应用于情感分析和文本分类等任务。
它使得模型能够准确分类提示,即使没有先前的接触也能达到预期效果。比如这样的提示:“那个镜头选择很棒。”即使模型之前没有接触过类似的提示,它也应该能够准确地将情感分类为“正面”。它是我们最经常用到的提示词。
在自然语言生成(NLG)中,Zero-shot提示将数据转化为连贯的叙述,适用于各种应用。在AI重写工具中,如Jasper,Zero-shot提示通过生成类似人类的文章提高内容质量,而无需复杂的提示。
另外,Zero-shot ReAct和 Zero-shot CoT等变体使其在各种场景中得到了广泛应用。
总的来说,Zero-shot提示是 NLP 领域中一项强大的技术,能够处理各种提示并生成相关的回应。
Few-shot
Few-shot提示
是一种在语言模型中使用的技术,特别是在像LangChain这样的AI应用中。这种方法涉及向模型提供少量示例或“快照”,以引导其生成响应。这些示例相当于模型的迷你训练,帮助模型理解所期望的响应类型。
类似于教孩子根据颜色对物体进行分类的情景,你可以给他们展示一些示例,例如一个红苹果、一个蓝色球和一个黄香蕉。然后,你给他们展示一片绿叶,并让他们对其进行分类。即使之前没有展示过绿色的物体,他们可以运用从示例中学到的逻辑正确地对叶子进行分类。
在Few-shot提示中也是如此,你给语言模型提供一些示例,然后要求它对一个新的提示进行响应。
例如,你可以向模型提供以下示例:
- 今天天气非常好(正面Pos)
- 家具很小(中性Neu)
- 我不喜欢你的态度(负面Neg)
- 那个投篮太糟糕了(负面Neg)
看到这些示例后,即使模型之前没有见过这个确切的句子,模型应该能够将类似“这个蛋糕很美味”的新句子分类为正面(Pos)
当你不能明确告诉模型你需要什么,但可以提供期望输出的例子时,Few-shot提示特别有用
通过少样本提示,模型可以利用学习到的逻辑从有限的示例中推广到新的情景,这在提高模型的泛化能力和灵活性方面非常有效。
3、思维链技术
Chain-of-Thought(CoT)
CoT
鼓励大型语言模型(LLMs)解释他们的推理过程。在Zero-shot情景下,只需在原始提示中加入类似"让我们一起逐步思考"的短语,即可实现。
虽然没有明确指出这是在LangChain还是BabyAGI中使用的,但这在LLMs中是常见的技术。
LangChain和BabyAGI都是AGI的实现和框架
比如,你正在尝试解决一个数学问题。你可能不会直接得出答案,而是会将问题分解为更小的步骤,对吧?这就是CoT提示对LLMs的作用,它会逐步引导模型进行逻辑思考。
CoT有两个重要步骤:
- 选择并解释具有相同结构的问题
- 细分问题结构,并在示例答案部分展示答案
另外,Zero-shot-CoT方法曾经很流行,通过添加“逐步和逻辑思考”,就可以提高性能。
Automatic CoT
Automatic CoT
旨在通过自动生成推理步骤来增强LLMs的问题解决能力。它结合了Zero-shot CoT,Manual CoT和检索(Retriever)的概念,通过优化问题回答(QA)过程来提高性能。
以下是步骤:
- 在准备阶段,对“让我们一步一步地思考”后的问答集进行聚类,并随时准备好。
- 在接收到用户输入后,从聚类中检索问题和答案,并将其作为CoT合并到输入中。
4、自动增强提示
自洽
Self-consistency
通过汇总多个CoT的结果(比如取占多数的结果)来提高响应准确性。
步骤如下:
- 从CoT响应中提取多个与输入(提示)相符的片段
- 融合这些多个答案,形成最终的综合回答
5、总结
这些提示工程技术各有自身的优势,在不同场景下可以灵活运用,具体取决于任务的要求和可用资源。
后期,我们会进一步探索一些在AGI实现方面正兴起的提示工程技术,比如APE,ToT,GoT,ART,AoT,RAG和ReAct等
如何学习大模型
现在社会上大模型越来越普及了,已经有很多人都想往这里面扎,但是却找不到适合的方法去学习。
作为一名资深码农,初入大模型时也吃了很多亏,踩了无数坑。现在我想把我的经验和知识分享给你们,帮助你们学习AI大模型,能够解决你们学习中的困难。
我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习,等录播视频免费分享出来,需要的小伙伴可以扫取。

一、AGI大模型系统学习路线
很多人学习大模型的时候没有方向,东学一点西学一点,像只无头苍蝇乱撞,我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。
二、AI大模型视频教程
三、AI大模型各大学习书籍
四、AI大模型各大场景实战案例
五、结束语
学习AI大模型是当前科技发展的趋势,它不仅能够为我们提供更多的机会和挑战,还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型,我们可以深入了解深度学习、神经网络等核心概念,并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时,掌握AI大模型还能够为我们的职业发展增添竞争力,成为未来技术领域的领导者。
再者,学习AI大模型也能为我们自己创造更多的价值,提供更多的岗位以及副业创收,让自己的生活更上一层楼。
因此,学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。