Black-box Prompt Learning for Pre-trained Language Models

论文链接https://arxiv.org/pdf/2201.08531.pdf

Abstract

近年来，针对大型预训练模型的特定领域微调策略受到了广泛关注。在之前研究的设置中，模型架构和参数是可调的，或者至少是可见的，我们称之为白盒设置。这项工作考虑了一个新的场景，在这个场景中，除了给定输入的输出，我们无法访问预先训练的模型，我们称这个问题为黑盒微调。为了说明我们的方法，我们首先在文本分类中正式引入黑盒设置，其中预训练的模型不仅是冻结的，而且是不可见的。然后，我们提出了解决方案BLACKBOX prompt，这是PrompLearning家族中的一种新技术，它可以利用预训练模型从预训练语料库中学习到的知识。我们的实验表明，该方法在八个数据集上达到了最先进的性能。对不同人类设计目标、提示长度和直观解释的进一步分析证明了我们方法的鲁棒性和灵活性。

---

Introduction

大型预训练语言模型（PLM）在自然语言处理（NLP）方面取得了巨大成功，预训练和微调方法已成为一种标准范例。PLMs在自然语言理解（NLU）（Devlin等人，2019年；Liu等人，2019年）和自然语言生成（NLG）（Lewis等人，2020年；Zhang等人，2020年；Yang等人，2020年）的各种应用场景中显示出巨大的优势。在本文中，我们关注文本分类任务，这是NLU中一项探索性很强但很重要的任务，旨在识别给定句子的类别。之前的研究基于标准实践，即给定一个输入句子，使用标记的数据集（finetune）对预先训练的语言模型进行微调。然而，对大型PLM进行微调需要时间和能源消耗，这是许多研究人员无法做到的。例如，GPT-3（Brown等人，2020年）有1750亿个参数，在微调时会导致内存不足问题。更糟糕的是，我们需要为每个不同的下游任务微调一个模型，并将它们保存在磁盘上，这不仅笨拙，而且在我们有成千上万个不同的任务时也不可行。

因此，最近提出了一种新的方法，称为基于提示的学习（高等人，2021；刘等人，2021 b；Schick和Schu Zuz，2021；李和梁，2021；刘等人，2021 A），减轻了上述问题，并有几个好处。首先，我们只需要调整一小部分参数，而不是整个PLM，这更具成本效益。其次，可以设计基于即时的目标，以消除培训前任务和下游任务之间的差距。第三，使用很少的可调参数，它可以实现与微调方法相当的性能。目前大多数基于prompt的研究都集中在prompt的设计上，即prompt工程。所提出的方法是在白盒设置下进行的，在白盒设置下，预先训练的模型是可调的或至少是可见的，以便梯度可以反向传播以更新提示。白盒设置有几个问题。首先，不能在所有情况下都看到预先训练好的模型的参数。例如，研究人员无法获得一些商业产品，因此我们无法进行微调或白盒优化。即使我们可以访问预先训练过的模型，它也可能太大，无法将其（例如GPT-3）加载到资源有限的研究人员和组织的内存中。其次，在许多实际应用场景中，预先训练的模型部署在云中，而梯度计算不可用。因此，我们提出了一种称为“黑箱提示学习”的新设置&#x