Prompt2Model: Generating Deployable Models from Natural Language Instructions

本文是LLM系列文章，针对《 Prompt2Model: Generating Deployable Models from Natural Language Instructions》的翻译。

摘要

大型语言模型（LLM）使今天的系统构建者能够通过提示创建有能力的NLP系统，他们只需要用自然语言描述任务并提供几个例子。然而，在其他方面，LLM是传统的专用NLP模型的倒退；它们需要大量的计算资源来进行部署，并且可以在API后面进行门控。在本文中，我们提出了Prompt2Model，这是一种通用方法，它采用自然语言任务描述，如提供给LLM的提示，并使用它来训练有利于部署的专用模型。这是通过检索现有数据集和预训练模型、使用LLM生成数据集以及对这些检索和生成的数据集进行监督微调的多步骤过程来完成的。在三项任务中，我们证明，在输入相同的少量提示的情况下，Prompt2Model训练的模型比强LLM gpt-3.5-turbo的结果平均好20%，同时小700倍。我们还表明，这些数据可以用于获得模型性能的可靠性能估计，使模型开发人员能够在部署前评估模型可靠性。Prompt2Model开源地址https://github.com/neulab/prompt2model

1 引言

2 Prompt2Model框架

3 参考实现

4 实验设置

5 实验结果

6 讨论与结论

我们提出了Prompt2Model，这是一个仅使用自然语言提示自动