Prompt 编程的优化技巧

一、为什么要优化

一）上下文限制

目前 GPT-3.5 以及 GPT-4最大支持 16K 上下文，比如你输入超过 16k 的长文本，ChatGPT 会提示文本过大，为了避免 GPT 无法回复，需要限制 上下文在16k 以内

上下文对于 GPT 来说是非常重要的，它是模型在生成回复时参考的输入信息，包括了用户的输入以及模型的先前回复。

GPT模型会根据这个上下文来生成最合适的回复，它的作用主要有两个：

提供信息

上下文包含了用户的问题和需求，模型需要根据这些信息来生成回复。例如，如果用户问“北京奥运会什么时候举办的？”那么“北京奥运会”就是上下文中的关键信息。

维持对话连贯性

上下文还包含了对话的历史记录，这对于维持对话的连贯性非常重要。例如，如果用户先后问了“你喜欢兔子吗？”和“它们可爱吗？”那么模型就需要知道“它们”指的是“兔子”

二） 提升回复速度

GPT是基于传入的上下文来预测下一步该如何回答问题，精简的上下文会让这个预测过程加速，减少GPT计算时长，提升回复速度

三）节省费用

OpenAI 按照传入的上下文 + 最新回复的信息总和，然后折算成 Token 计费，所以上下文越多计费越贵，并且成逐步上涨的趋势（因为多轮会话中，上下文会越来越大），所以节省上下文实际上就是节省费用

二、如何优化

一）优化输入

输入 Prompt 即当前发送给 ChatGPT 的提示词，在上一篇 《Prompt 编程的设计技巧》中，我们设计了结构化的Prompt，即 JSON 结构。

那么可以将 JSON 数据中多余的换行、空格等，变成“压缩版”的 J