AI取代人类，可以自动生成prompt了

文 | 智商掉了一地

如何才能让大型语言模型按照我们的要求去做？这篇文章给出了回答——

近期在 NLP 领域风很大的话题莫过于 Prompt，尤其当大型语言模型（LLM）与其结合，更是拉近了我们与应用领域之间的距离，当 LLM 在包括小样本学习在内的各种任务中表现出非凡的效果和通用性时，也存在着一个问题亟待解决：如何让 LLM 按照我们的要求去做？这也是本篇论文的一个重要出发点。

本文作者将 LLM 视为执行由自然语言指令指定程序的黑盒计算机，并研究如何使用模型生成的指令来控制 LLM 的行为。受经典程序合成和人工提示工程方法的启发，作者提出了自动提示工程师 (Automatic Prompt Engineer, APE) 用于指令自动生成和选择，将指令视为“程序”，通过搜索由 LLM 提出的候选指令池来优化，以使所选的评分函数最大化。

作者通过对 24 个 NLP 任务的实验分析指出，自动生成的指令明显优于先前的 LLM Baseline，且 APE 设计的提示可以用于引导模型真实性和信息量，以及通过简单地将它们预设为标准上下文学习提示来提高小样本学习性能。

论文题目:
Large Language Models are Human-Level Prompt Engineers

论文链接:
https://openreview.net/pdf?id=92gvk82DE-

问题探索

大模型在各种任务上的通用性和卓越表现引发广泛关注，同时关于引导大模型朝着理想方向的研究也在不断进行着，最近几年的工作考虑了微调（fine-tuning）、上下文学习（in-context learning）和几种形式的 prompt 生成，包括可微分软提示（differentiable tuning of soft prompts）和自然语言提示工程（natural language prompt engineering），而自然语言提示工程则更是让公众对 prompt 设计和生成也产生了兴趣。

比如，近年来具有自然语言界面的大型模型，包括用于文本生成和图像合成的模型，已经越来越多地被公众使用。由于人们很难找到正确的 prompt，因此开发了许多关于提示工程的指南以及帮助发现 prompt 的工具，链接如下：

• https://blog.andrewcantino.com/blog/2021/04/21/prompt-engineering-tips-and-tricks/

• https://techcrunch.com/2022/07/29/a-startup-is-charging-1-99-for-strings-of-text-to-feed-to-dall-e-2/

• https://news.ycombinator.com/item?id=32943224

• https://promptomania.com/stable-diffusion-prompt-builder/

• https://huggingface.co/spaces/Gustavosta/MagicPrompt-Stable-Diffusion

在公众的这种兴趣背后，潜藏着这样的事实——简单的语言提示并不总产生期望的结果，即使这些结果可以通过其他指令生成。

因此，由于对指令与特定模型的兼容性知之甚少，用户必须尝试各种提示以指导 LLM 走向期望的行为。我们可以通过将 LLM 看作是由自然语言指令指定执行程序的黑盒计算机来理解这一点：虽然它们可以执行广泛的自然语言程序，但这些