pattern-exploiting training (PET)--Few-Shot Learners

1 简介

本文根据2021年《It’s Not Just Size That Matters：Small Language Models Are Also Few-Shot Learners》翻译总结的。

GPT-3有1750亿的参数，它拥有惊人的小样本学习（few-shot）能力。
而本文主要讲另一种方式，pattern-exploiting training (PET)，模式开发训练。是将文本输入转化成完形填空（cloze）问题。所需参数很少。
同时本文提出了PET的一个简单有效的修改版，支持预测多个token。

2 Pattern-Exploiting Training

PVP（pattern-verbalizer pairs）,如上图：

3 PET with Multiple Masks

PET引入多个token，如下图a，计算两个概率q并取概率较高的（如下图ble），接着将ble带入下图b，继续计算剩下token的概率。

4 实验结果

可以看到PET参数较少，但取得了和GPT-3不相上下的结果。