Improving Low-Resource Named Entity Recognition using Joint Sentence and Token Labeling（ACL2020）

1. Summary

本文针对low-resource NER任务——小语种电商NER任务，提出了一种使用句子标签（易获得）与token-level NER的联合训练方法，该方法表明联合句子标签可有效提升low-resource NER的识别性能。本文的亮点主要是提出了利用sentence label的联合训练模型，并对attention机制进行了探究实验，发现使用self-learned的放缩因子效果更好。

2. Content

2.1 联合训练模型如下图所示：

其中，句子分类任务与NER任务除输出层均是共享层，word embedding设置trainable为False（加入Projection层达成同样效果），最后的隐层输出使用残差连接，联合模型需要优化的loss函数如下：

最后隐层输出计算公式如下，${\mathrm{H}}^{\prime }\in {\mathbb{R}}^{T\ast d_h}$：

模型训练过程首先是用大量数据训练句子分类任务的layers，然后再加载Projection层和BLSTM层的权重初始化，然后再对NER任务和句子分类任务进行联合训练。

2.2 Attention探究

对attention层的放缩机制进行探究，发现将放缩因子加入训练会获得更好的性能，attention公式修改如下：

其中$\mathbf{\delta }$是一个向量，通过训练获得动态的自适应。文中还探讨了soft、scaled、unscaled模式的attention。

2.3 实验结果