提示学习（Prompt Learning）

提示学习（Prompt Learning）

1. 在不显著改变预训练语言模型结构和参数的情况下，通过向输入增加“提示信息”、将下游任务从文本分类改为文本生成任务 类似于完形填空
2. 不同于微调，下游任务较少改变上游任务的参数
3. 使模型有更快的速度，更少的参数

NLP四范式

• 第一范式： 基于传统机器学习模型的范式：比如 tfidf 特征 + 朴素贝叶斯的文本分类任务

• 第二范式 ： 基于深度学习 模型的范式：比如word2vec 特征 + LSTM的文本分类任务。
  相比于第一范式，模型准确有所提高，特征工程的工作也有所减少。

• 第三范式： 基于预训练模型+ fine-tune 的范式： 比如 BERT + finetune 的文本分类任务。
  相比于第二范式，模型准确度显著提高，但是模型也变得更大，小数据集可以训练出好模型。

• 第四范式：基于预训练模型+ Prompt + 预测的范式： 比如 BERT + Prompt 的文本分类任务
  相比于第三范式，模型训练所需的训练数据显著减少。