20、深入探索GPT - 3：提示工程与学习方法

深入探索GPT - 3：提示工程与学习方法

1. GPT - 3推理参数与介绍

GPT - 3的推理参数设置如下：

max_tokens=256,
top_p=1,
frequency_penalty=0,
presence_penalty=0

若需了解更多关于GPT - 3推理参数的信息，可访问：https://huggingface.co/blog/inference - endpoints - llm 。

2. 提示工程概述

许多语言模型执行下游任务时需要微调，有时还需为模型添加额外层。但GPT - 3基于单一模型，无需额外层或微调就能执行额外任务。它采用一种系统，可在模型输入前加上零个、一个或几个示例。任务描述、示例（若有）和提示的组合为GPT - 3提供上下文，使其能逐词预测输出。例如，任务描述为“将英语翻译成意大利语”，接着给出几个英语/意大利语单词对作为示例，然后提示为一个英语单词（如“cow”），模型会将其翻译成意大利语（“vacca”）。

2.1 使用提示

提示本质上是一个文本字符串，为GPT - 3提供关于期望响应类型的指令。多次向GPT - 3提交相同提示，结果虽相似但不一致。提示工程可提高响应的一致性，与微调结合时，能得到更一致的响应。提示工程包括设计提示及其“完成内容”（即模型的响应），精心设计的提示能提高预测率，便于处理生成的响应，其结果质量取决于大量样本提示，这些提示会因具体NLP任务而异。

2.2 设计提示

精心设计的提示工程比传统方