《Few-Shot Named Entity Recognition: A Comprehensive Study》论文笔记

Few-Shot Named Entity Recognition: A Comprehensive Study

最近发现读论文get idea有点困难，不如参考大佬的笔记来做做总结，今天主要总结一下few-shot NER，这是一篇few-shot NER的综述《Few-Shot Named Entity Recognition: A Comprehensive Study》

1. Motivation

NER一种经典的方法是在PLM提供的表示之上添加一个线性分类器，并在域标签上使用交叉熵目标来微调整个模型，该方法很简单，且在几个基准上提供了强有力的结果。

但即使有了这些PLM，构建NER系统仍然是一项劳动密集型、耗时的任务。注释大量的域内标记标记语料库，需要丰富的领域知识和专家经验。然而，这与现实世界的应用程序场景形成了对比，后者只有非常有限数量的标记数据可用于新域。因此本文研究了一个具有挑战性但实际的研究问题：few-shot NER。本文做法如下：

1. 创建原型作为不同实体类型的表示，并通过最近邻标准分配标签（we create prototypes as the representations for different entity types, and assign labels via the nearest neighbor criterion）
2. 不断地使用带有噪声标签的web数据进行预训练，这些数据可以大量使用，以提高NER的准确性和鲁棒性（we continuously pre-train PLMs using web data with noisy labels that is available in much larger quantities to improve NER accuracy and robustness）
3. 使用未标记的域内标记，使用自训练来预测它们的软标签，并结合有限的标记数据进行半监督学习。（we employ unlabeled in-domain tokens to predict their soft labels using self-training, and perform semi-supervised learning in conjunction with the limited labeled data）

2. Contribution

1. 第一次对前人很少研究的few-shot NER方面进行了系统的研究，并提出了三种不同的方案及其组合。（We present the first systematic study for few-shot NER, a problem that is previously little explored in the literature. Three distinctive schemes and their combinations are investigated.）
2. 对来自不同领域的10个公共NER数据集对这些方案进行了综合比较。（We perform comprehensive comparisons of these schemes on 10 public NER datasets from different domains.）
3. 与现有的在少镜头和无训练的NER设置上的方法相比，本文所提出的方案简单且实现了SoTA性能。（Compared with existing methods on few-shot and training-free NER settings , the proposed schemes achieve SoTA performance despite their simplicity.）

3. Background on Few-shot NER

3.1 Few-shot NER

一个序列标注任务，输入长度为$T,X=[x_1,x_2,...,x_T]$，输出为相应的$T$长度标记序列$Y=[y_1,y_2,...,y_{}$