[论文学习]P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Task

[论文学习]P-Tuning V2

P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks

P-Tuning v2一种在不同规模和任务中都可与微调相媲美的Prompt-Tuning方法,但并不是一个全新的方法，将文本生成的Prefix-Tuning优化并适应到NLU任务中,成为一个跨规模和NLU任务的

动机

1. 模型通用性:以前关于Prompt-Tuning的工作(或者说是P-Tuning v1)在正常大小的预训练模型中表现不够理想,100亿以上的参数量的预训练模型打败Fine-Tuning

2. 任务通用性:现在的Prompt-Tuning不能很好地处理序列标注任务

   首先，序列标注需要预测一连串的标签，而不是单一的标签。其次，序列标注通常预测的是无实际意义的标签，这对于将其转化为有效的verbalizers来说可能是个挑战

   为了解决这两个问题,提出P-Tuning V2

方法

施法前摇

前缀微调

​ 前缀微调（Li and Liang, 2021）最初是为自然语言生成（NLG）任务提出的，由[Prefix, x, y]三部分构成，Prefix为前缀，x为输入，y为输出。Prefix-tuning将预训练参数固定，Prefix参数进行微调：不仅只在embedding上进行微调，也在TransFormer上的embedding输入每一层进行微调。

​ 假设我们有自回归模型GPT(transformer的结构，12层)，让z = [x;y]，聚合x和y，$X_{idx}$是x的索引，${}_{idx}$是y的索引，$h_i(j)$是transformer第j步的输出，$h_i=[h_i(1),...,h_{}$