抛弃模板，一种Prompt Learning用于命名实体识别任务的新范式

©原创作者 | 王翔

论文名称：

Template-free Prompt Tuning for Few-shot NER

文献链接：

https://arxiv.org/abs/2109.13532

01 前言

1.论文的相关背景

Prompt Learning通过设计一组合适的prompt将下游任务的输入输出形式重构成预训练任务中的形式，充分利用预训练阶段学习的信息，减少训练模型对大规模标注数据集的需求。

例如对于用户评论的情感分析任务：判断用户评论的“交通太不方便了。”这句话蕴含的情感是“正面”还是“负面”。原有的处理范式是将其建模成一个文本分类问题，输入“交通太不方便了。”，输出“正面”或者 “负面”。

但如果使用Prompt Learning范式，则会将输入重构成“交通太不方便了。感觉很“[MASK]”，输出“好”或者“差”。

Prompt Learning借助合适的prompt减少了预训练和微调之间的差异，进而使得模型在少量的样本上进行微调，即可取得不错的效果，因此受到大量专家学者的关注，被誉为自然语言处理的第四范式。

命名实体识别是指识别文本中具有特定意义的实体，主要包括人名、地名、 机构名、专有名词等。

目前基于深度学习的命名实体识别方法已经取得了较高的识别精度，但由于深度学习模型依赖于大量的标注语料，因此在缺少大规模标注数据的垂直领域很难取得较好的效果。

针对少样本命名实体识别问题，常规的方案是基于相似性的度量方法，但该方法无法利用模型参数中的知识进行迁移。

为了解决该问题，如下图所示的TemplateNER引入Prompt Learning通过人工设计的实体模板（<候选实体> is a <实体类型> entity）和非实体模板（<候选实体> is not a named entity）将命名实体识别问题建模成seq2seq框架下的语言模型打分任务，具体过程如下图所示。

TemplateNER在跨域和少样本场景下显著优于传统的序列标记方法和基于距离的少样本NER方法，但TemplateNER在生成候选实体时需要使用n-grams方法进行枚举，因此存在严重的效率问题。

2. 论文主要解决的问题