大模型LLM提示工程（Prompt）（下篇）：思维链和思维树的进阶

前言

在上一篇，大模型提示工程（Prompt），如何让大模型更好的为我们所用（上篇），主要是讲了我们在使用ChatGPT等大模型应用时，如何写好我们的prompt，来帮助我们获得GPT更高质量的回答。

了解了大模型提示词的一些基本原则，并善用一些模板来遵循这些原则，能够在很多方面给我们带来很大的生产力。

题外话

在我们研究如何进阶自己的prompt的同时，网上也传出了很多ChatGPT的咒语，有一个词叫做prompt creator。 让ChatGPT帮我们完善我们的prompt,感兴趣的可以看：prompt creator

ChatGPT的能力缺陷

我们在面对逻辑、推理、数学和算术的这些应用场景中，ChatGPT的表现是不满足我们的需求的。

大模型（LLM）的涌现能力

这就需要再解释另一个概念：

大模型（LLM）的涌现能力，指的是模型未经过特定任务(数据)的训练，但是在一些技术手段下，仍然能够解决某些特定领域的问题的能力。

上篇，我们也有简单提到，大模型在一些技术手段下，能够解决某些特定领域的问题，而这种技术手段就目前的研究而言，分为两类：提示工程和微调。提示工程和微调同属对模型涌现能力的引导和优化方法，但相比微调，提示工程成本更低、使用更加灵活，且对于提升模型在小语义空间内复杂语义理解效果更好。

这也是从根本上，提示词工程的由来。

One-shot和Few-shot最早由OpenAI研究团队在论文《Language Models are Few-Shot Learners》中率先提出，这篇论文也是提示工程方法开山鼻祖，不仅介绍了提示工程的两大核心方法，同时也详细介绍这么做背后的具体原因。

One-shot & Few-shot提示学习法

先说Zero shot

Zero-shot(零样本) Prompt 提示词技术使得我们在无需做特定训练的情况下依然可以让大模型给我们完成一些简单的任务，我们无需提供给模型额外的数据或者做微调，在很多时候依然能得到不错的效果。Zero-shot(零样本) Prompt是一种很快速便捷的方式让我们对新任务做出尝试，很适合验证我们新的想法。

往往，在一些简单的场景中，我们优先会考虑的就是Zero-shot(零样本) Prompt。

四个经典推理问题

网上我们能很容易的搜到，在Zero-shot的情况下，逻辑推理能力较弱，只能围绕相对简单的、只有线性运算过程的推理问题进行很好的解答，对于这四个经典推理题，模型只正确回答了第一个问题，其他问题都答错了，可以说模型的推理能力很差，这个是我们进一步深入的前提，感兴趣的大家可以自己搜索一下。

在面对复杂的逻辑推理和数学算术问题等场景时，这个时候我们就需要一些进阶的提示工程。

One-shot & Few-shot提示学习法

具体的应用来说，Few-shot提示方法并不复杂，只需要将一些类似的问题的问题+答案作为prompt的一部分进行输入即可。

css
复制代码
Few-shot的编写格式：
当需要输入多段问答作为提示词时，以Q作为问题的开头、A作为回答的开头（也可以换成“问题”、“答案”），
并且不同的问答对话需要换行以便于更加清晰的展示，具体方法是通过转义符+换行来完成。

这就是示例的作用。

比如我们之前用的例子，在不带示例的情况下，并没有输出我们期望的结果。

在加入示例之后，很明显得到了我们希望的结果。

思维链提示法

思维链（Chain of Thought）是一种提示工具，用于帮助语言模型进行复杂的推理和思考过程。它通过引导模型逐步解决问题，以一系列连贯的步骤展示推理的思路和逻辑关系。

思维链提示的基本思想是将推理过程分解为多个步骤，并在每个步骤中指导模型逐步进行推理。每个步骤都通过自然语言描述，使模型能够理解和执行每个推理阶段所需的操作。

具体而言，思维链提示通常由多个中间步骤组成，每个中间步骤都解释了问题的一个方面或子问题。模型需要根据前一个步骤的结果和当前问题的要求来推断下一个步骤。通过这种逐步推理的方式，模型可以逐渐获得更多信息，并在整个推理过程中累积正确的推断。

Zero-shot-CoT提示方法

Zero-shot-CoT是在Few-shot思想下，一种更好的提示方法。它借助思维链（也被称为思考链，Chain of Thought，CoT）提示法来解决这个问题。一种非常简单而有效的方式是：

在提示词尾部追加一句“Let’s think step by step”，即可大幅提高模型推理能力。

如果切换到中文语境下，对指令“Let’s think step by step”进行中文翻译，做了大量的测试后，得出结论： “请一步步进行推理并得出结论”要远远好于“请让我们一步步进行思考”等类似的提示词语句。

正常的prompt发问

Zero-shot-CoT提示方法

Few-shot-CoT提示方法

Zero-shot-CoT是零样本提示的情况下通过修改提示词后缀激发模型的思维链，而Few-shot-CoT则是通过编写思维链样本作为提示词，让模型学会思维链的推导方式，从而更好的完成推导任务。

CoT改良方法：LEAST-TO-MOST PROMPTING（LtM提示法）

提出的背景

在谷歌大脑提出的CoT被实际验证能够大幅提升大语言模型的推理能力不久，来自谷歌大脑的另一个团队在此基础上发表了另一篇重量级论文《LEAST-TO-MOST PROMPTING ENABLES COMPLEX REASONING IN LARGE LANGUAGE MODELS》，并在其中提出了一种名为Least-to-Most（LtM）的提示方法，将大语言模型的推理能力进一步提高。这种名为LtM的提示方法不仅能够将模型在GSM8K上的表现提高至62%，甚至在某些特殊语义解读场景下能够达到3倍于CoT的效果。

该方法是截至目前围绕模型推理能力提升的最为有效的提示学习方法。

思想原理

LtM提示方法提出的初衷是为了解决CoT提示方法泛化能力不足的问题——即通过人工编写的思维链提示样本可能并不能够很好的迁移到别的问题当中去，换而言之，就是解决问题的流程迁移能力不足，即泛化能力不够。而这种泛化能力不足则会导致“新的问题”无法使用“老的模板”进行解决。

所以一个思想就是：让大模型自己找到解决当前问题的思维链。谷歌大脑基于这个思路开发了一种全新的提示流程，即先通过提示过程让模型找到解决该问题必须要分步解决哪几个问题，然后再通过依次解决这些问题来解决最原始的问题。

整个提示过程会分为两个阶段进行：

第一个阶段是自上而下的分解问题（Decompose Question into subquestion）；

第二个阶段是自下而上的依次解决问题（Sequentially Solve Subquestion），整个依次回答问题的过程，其实就可以看成是CoT的过程，只不过LtM会要求模型根据每个不同的问题，单独生成解决问题的链路，从而能够更加精准的解决复杂推理问题。 而整个过程问题的由少变多，则是LEAST-TO-MOST一词的来源。

具体的原理分析，大家可以自行查阅资料。

理论上整个过程会有三次调用大模型的过程，问答流程如下：

按照这种方式尝试一下：

js
复制代码
Q：“艾米需要4分钟能爬到滑梯顶部，然后需要花费1分钟滑下来，现在水滑梯将在15分钟后关闭，请问在关闭之前她能滑多少次？”\ 
A：为了解决“在关闭之前她能滑多少次？”这个问题，首先需要解决的问题是

通过提示模板“To solve __, we need ti first solve:”来引导模型创建子问题

模型的推理结果如下：

LtM提示过程能够非常好的解决这个推理问题。并且，在实际测试过程中，模型不仅能够拆解任务，而且还能够自动根据拆解的子问题答案回答原始问题，最终做到在一个提示语句中对原始问题进行准确回答。

‘为了解决“ ”这个问题，我们首先要解决的问题是’也是经过验证的、最为恰当、同时也最能够得到准确回答的提示词模板，建议经常使用，并验证其功能。

总结以致用

我们梳理和了解了ChatGPT在不擅长的领域，一些提示方法。

这些深度的内容希望能在接下来帮助我们理解和掌握更加进阶的提示工程技巧，以便在大模型开发中实现更高效的应用和优化。

One-shot & Few-shot提示学习法

只需要将一些类似的问题的问题+答案作为prompt的一部分进行输入即可

Zero-shot-CoT提示方法

在提示词尾部追加一句“Let’s think step by step”，即可大幅提高模型推理能力。

如果切换到中文语境下，对指令“Let’s think step by step”进行中文翻译，做了大量的测试后，得出结论： “请一步步进行推理并得出结论”要远远好于“请让我们一步步进行思考”等类似的提示词语句

Few-shot-CoT提示方法

过编写思维链样本作为提示词，让模型学会思维链的推导方式，从而更好的完成推导任务

LEAST-TO-MOST PROMPTING（LtM提示法）

通过提示模板“To solve __, we need ti first solve:”来引导模型创建子问题

‘为了解决“ ”这个问题，我们首先要解决的问题是’也是经过验证的、最为恰当、同时也最能够得到准确回答的提示词模板，建议经常使用，并验证其功能。

如何系统的去学习大模型LLM ？

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓

AI大模型系统学习路线图

阶段1：AI大模型时代的基础理解

• 目标：了解AI大模型的基本概念、发展历程和核心原理。
• 内容：
  • L1.1 人工智能简述与大模型起源
  • L1.2 大模型与通用人工智能
  • L1.3 GPT模型的发展历程
  • L1.4 模型工程
    - L1.4.1 知识大模型
    - L1.4.2 生产大模型
    - L1.4.3 模型工程方法论
    - L1.4.4 模型工程实践
  • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

• 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
• 内容：
  • L2.1 API接口
    - L2.1.1 OpenAI API接口
    - L2.1.2 Python接口接入
    - L2.1.3 BOT工具类框架
    - L2.1.4 代码示例
  • L2.2 Prompt框架
    - L2.2.1 什么是Prompt
    - L2.2.2 Prompt框架应用现状
    - L2.2.3 基于GPTAS的Prompt框架
    - L2.2.4 Prompt框架与Thought
    - L2.2.5 Prompt框架与提示词
  • L2.3 流水线工程
    - L2.3.1 流水线工程的概念
    - L2.3.2 流水线工程的优点
    - L2.3.3 流水线工程的应用
  • L2.4 总结与展望

阶段3：AI大模型应用架构实践

• 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
• 内容：
  • L3.1 Agent模型框架
    - L3.1.1 Agent模型框架的设计理念
    - L3.1.2 Agent模型框架的核心组件
    - L3.1.3 Agent模型框架的实现细节
  • L3.2 MetaGPT
    - L3.2.1 MetaGPT的基本概念
    - L3.2.2 MetaGPT的工作原理
    - L3.2.3 MetaGPT的应用场景
  • L3.3 ChatGLM
    - L3.3.1 ChatGLM的特点
    - L3.3.2 ChatGLM的开发环境
    - L3.3.3 ChatGLM的使用示例
  • L3.4 LLAMA
    - L3.4.1 LLAMA的特点
    - L3.4.2 LLAMA的开发环境
    - L3.4.3 LLAMA的使用示例
  • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

• 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
• 内容：
  • L4.1 模型私有化部署概述
  • L4.2 模型私有化部署的关键技术
  • L4.3 模型私有化部署的实施步骤
  • L4.4 模型私有化部署的应用场景

辅助学习书籍PDF资源：

学习计划：

• 阶段1：1-2个月，建立AI大模型的基础知识体系。
• 阶段2：2-3个月，专注于API应用开发能力的提升。
• 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
• 阶段4：4-5个月，专注于高级模型的应用和部署。
  请根据您的个人进度和时间安排，适当调整学习计划。记得在学习过程中，理论与实践相结合，不断进行项目实践和反思，以加深理解和技能的掌握。

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓