本文是LLM系列文章,针对《Pre-trained Language Models Can be Fully Zero-Shot Learners》的翻译。
预训练语言模型可以是完全零样本的学习者
摘要
在没有标记或额外的未标记数据的情况下,我们如何将预先训练的模型扩展到许多语言理解任务?经过预训练的语言模型(PLM)对于广泛的NLP任务是有效的。然而,现有的方法要么需要对下游标记的数据集进行微调,要么需要手动构建适当的提示。在本文中,我们提出了非参数提示PLM(NPPrompt)来完全理解零样本语言。与以前的方法不同,NPPrompt只使用预先训练的语言模型,不需要任何标记数据或额外的原始语料库来进行进一步的微调,也不依赖于人类来构建一组全面的提示标签词。在不同的NLP任务中,我们将NPPrompt与以前的主要小样本和零样本学习方法进行比较:文本分类、文本蕴涵、相似文本检索、转述和多选问题回答。实验结果表明,我们的NPPrompt在很大程度上优于以前最好的完全零样本方法,在文本分类上的准确率和在GLUE基准上的准确度分别提高了12.8%和15.6%。我们的源代码可在https://github.com/Xuandong Zhao/NPPrompt。
385



被折叠的 条评论
为什么被折叠?



