AdaPrompt: Adaptive Model Training for Prompt-based NLP

本文是LLM系列文章，针对《AdaPrompt: Adaptive Model Training for Prompt-based NLP》的翻译。

摘要

提示学习以其处理零样本和小样本NLP任务的能力，在社区中受到了广泛关注。其主要思想是通过将NLP下游任务映射到自然语言提示中，然后由预训练的语言模型（PLM）填充，来弥合NLP下游工作与语言建模（LM）之间的差距。然而，对于提示学习，NLP任务和预训练之间仍然存在两个显著的差距。首先，在LM预训练期间，提示信息不一定充分存在。其次，在预训练过程中，任务特定的数据不一定能很好地表示出来。我们通过提出AdaPrompt来解决这两个问题，该方法利用任务和提示特征自适应地检索外部数据，用于PLM的连续预训练。此外，我们还利用自然语言推理模型中的知识来推导自适应动词。在五个NLP基准上的实验结果表明，AdaPrompt可以在小样本设置下提高标准PLM。此外，在零样本设置中，我们的方法比基于提示的标准方法的相对误差降低了26.35%。

1 引言

2 相关工作

3 方法

4 实验

5 结论

我们研究了AdaPrompt，这是一种基于零样本提示的NLP方法，它利用测试输入数据和提示进行自适应连续预训练和描述器选择。在五个分类数据集上的结果表明，AdaPrompt比标准提示方法有很大的改进。特别地，检索用于语言模型的连续预训练的相关数据可以用于为领域自