提示词微调（Prompt tuning）

        提示词微调（Prompt tuning）是 (Brian Lester, 2021)提出的一种参数高效微调方法。它是前缀微调的简化，主要对标提示词设计和提示词搜索的方法（离散提示词）。提示词设计和提示词搜索的方法往往不太稳定，而且不能通过最优化算法对其进行优化，无法确定得到的提示词就是最优解。而提示词微调是一种连续提示词方法，它的主要思想是：固定整个预训练模型参数，只允许将每个下游任务的额外k个可更新的tokens（称之为软提示词soft prompt）前置到输入文本中。因为是连续提示词，它并不关注这些词是什么，而只关心它们的语义（即词嵌入向量），所以，实际上它是在正常输入文本的词嵌入向量序列的前面加入一个额外的向量序列，这个向量序列可以由后向传播算法根据特定任务的标记数据反推得到。

        (Brian Lester, 2021)还提出了三种提示词初始化方法。一种是随机初始化，即用随机数初始化一个向量序列作为提示词的词嵌入向量。另一种是词库抽样，即：将词汇表中最常见的5,000个词，按照在预训练语料中的可能性进行排序，选取可能性最大的k个词。最后一种是类标签初始化，即：获取下游任务中每个类的字符串表示的嵌入，并用它们初始化提示中的一个词（token）。当类标签由多个词组成时，我们对词嵌入进行平均。在较长的提示词长度下，我们经常在初始化所有提示标记之前用尽了类标签。在这种情况下，回退到词库抽样策略，以填充剩下的提示词。实验表明，用词库随机抽样或类标签初始化比使用随机初始化得到的模型性能更稳定。