【LLM】Prompt_tuning 预训练方式

4 Prompt-Tuning

4.1 NLP任务四种范式

目前学术界一般将NLP任务的发展分为四个阶段，即NLP四范式：

• 第一范式：基于「传统机器学习模型」的范式
• 第二范式：基于「深度学习模型」的范式
• 第三范式：基于「预训练模型+fine-tuning」的范式
• 第四范式：基于「预训练模型+Prompt+预测」的范式

4.2 Prompt-Tuning 提示微调

• 通过让下游任务取迁就预训练模型,将fine-tuning的下游目标任务转换为pre-training的预训练任务

• 执行步骤:

  • 构建模板(Template Construction): 通过人工定义,自动搜索,文本生成的方法,三个部分从与给定句子相关的一个含有[MASK]标记的模板,并拼接到原始文本中,获得输入:

    • It was [MASK].，并拼接到原始的文本中，获得Prompt-Tuning的输入：[CLS] I like the Disney films very much. [SEP] It was [MASK]. [SEP]`。

    并复用预训练好的MLM分类器,得到[mask]预测的各个token的概率分布

  • 标签词映射(Label Word Verbalizer): 建立映射关系,把[mask]的词分类

  • 训练: 根据verbalizer 获得指定的lavel word 的预测概率分布,并采用交叉信息熵训练,。此时因为只对预训练好的MLM head进行微调，所以避免了过拟合问题。

4.3 PET模型

PET模型提出两个很重要的组件：

• Pattern（Template） ：记作T, 即上文提到的Template，其为额外添加的带有[mask]标记的短文本，通常一个样本只有一个Pattern（因为我们希望只有1个让模型预测的[mask]标记）。由于不同的任务、不同的样本可能会有其更加合适的pattern，因此如何构建合适的pattern是Prompt-Tuning的研究点之一；
• Verbalizer ：记作V, 即标签词的映射，对于具体的分类任务，需要选择指定的标签词（label word）。例如情感分析中，我们期望Verbalizer可能是 （positive和negative是类标签）。同样，不同的任务有其相应的label word，但需要注意的是，Verbalizer的构建需要取决于对应的Pattern。因此 如何构建Verbalizer是另一个研究挑战 。

4.4 Hard Prompt & Soft Prompt

Hard Prompt (离散提示)：是一种固定的提示模板，通过将特定的关键词或短语(真实的文本字符串)直接嵌入到文本中，引导模型生成符合要求的文本。这种提示方法的特点在于，提示模板是固定的，不能根据不同的任务和需求进行调整。

Soft Prompt (连续提示) ：