prompt learning 提示学习初步心得及示例 代码

先看下简单的情感分类示例 ： 基于prompt learning的情感分类示例代码_znsoft的博客-优快云博客

NLP 目前为止经历了四个阶段：

1. 完全监督机器学习

2. 完全监督深度神经网络

3. 预训练模型微调阶段： 预训练-> 微调

4. prompt 提示学习阶段： 预训练-> 提示-> 预测

第1,2阶段大家非常熟悉，第3阶段也有所了解，第4阶段是啥？

相对于第3阶段，第4阶段解决的是通过提示方法，修改下游任务来适应预训练模型。

在第三阶段，我们会的招式是 fine-tuning, 讲白了是微调语言模型来适应下游任务的变化 。在第四阶段，我们要反过来图之，采用改造下游任务来适应语言模型。

为什么会有如此想法？ 当我们用GPT 3等巨量模型来进行下游任务时，潜意识中我们还是会想着改造语言模型来适应下游任务。毕竟，用少量语料微调来搞事，成本低见效快。但是，但是，遇到gpt 3这样的海量模型，你还fine tuning得动吗？ 想想你那可怜的显卡。

革命家告诉我们：敌动我不动，敌不动我动。既然 敌人不能动，那就我自己来动，改造自己，适应敌人岂不更好？这就是prompt 提示学习的精华。

具体步骤：

 prompt 框架：

术语解释：

PLM ： 预训练模型模型，知识来源,可以是普通 的LM, 也可以是masked LM, 如bert.

template: 模型，提示信息形成的模板

verbalizer:　标签映射器，用于将提示获得的标签词转换成标签，比如将 happy转换为  negative.

可能的研究方向：

在提示学习的任何可人工干预的阶段都可以添加外部知识进行处理。

1 提示模板生成 ,包括自动生成，外部知识扩展

2.性能改进。 提示模板在通常情况下可能是自然语言，但是实际上是可以激发语言模型的所有标志词，可以自动生成与选择。

推荐综述： [综述]鹏飞大神的Pre-train, Prompt, and Predict [1] - 知乎