Hekena的博客

从多模态文本中抽取出N维关系类型。模态可能是纯文本，可能是表格。涉及到两个问题，一是关系所在位置定位；二关系分类。RESEL将这一具有挑战性的任务分解为两个较简单的子任务：（1）高层次的组件检索，，以及（2）低层次的实体提取，;

我们提出了一个开创性的基于跨度的原型网络（SpanProto），它通过一个两阶段的方法来解决少量的NER问题，包括。在跨度提取阶段，我们将顺序标签转化为全局边界矩阵，使模型能够专注于明确的边界信息。对于提及分类，我们利用原型学习来捕捉每个标记的跨度的语义表示，并使模型更好地适应小说类实体。模型分为两个部分，通过表填充方式解决mention识别问题，使用原型网络解决mention分类问题。

在小样本关系分类中，prompt信息是relation name是信息，这篇文章为了保持train和test的一致性，将train中的一些relation name信息删除掉了。（相反，我们提出了一种称为标签提示剔除的新方法，它在学习过程中随机剔除了标签描述）

针对传统下的三元组抽取提出的一种方法，在NYT和webNLG数据集上，再次刷新榜单。本来对这个结果不是很确定，但作者公布了源码，we can reformulate it .。

不觉得繁杂吗？相比于提问题做数据增强，这个方法还要分parallel与否，分开建立模型。

未来可能的方向：更好的QA模型；多种类型的NER任务（每种类型下，包含的可能实体数量是否有影响，比如美国州和运动员，后者实体量显然大于前者）；新的技术策略，解决旧的问题。方法可不新颖，但是思路起码要OK。

表 5 显示了 FewRel 数据集的训练结果，增加了 TACRED 人员关系和对 TACRED 组织的测试。我们可以看到共享相似实体类型签名的关系之间的改进结果和更少的混淆。这意味着随着更多具有挑战性的示例的添加，模型被迫超越实体类型签名，并结合其他适合区分可混淆关系的信息。我们发现最先进的 FewRel 模型严重依赖实体类型信息，因此无法区分对人类来说微不足道的许多类型的关系。在作者的实验中，列出了部分比较难的关系和容易混淆的可能关系类型。文章应该算是分析模型有效性的问题的那一类中。

这篇文章的工作量是比较大的，感觉像是在工程实践中创作出来的。我们对不同技术进行了全面检查，以将医学知识添加到预训练的 BERT 模型中以进行临床关系提取。论文的贡献点是：尝试了多种信息融合的方法，比较了模型的有效性。论文的创新点：使用Bert完成Relation分类问题。前提是融合生物知识。

版权声明：本文为优快云博主「御风而行Carrie」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。原文链接：https://blog.youkuaiyun.com/carrie_0307/article/details/109066049。

但中间gate module融合了外部信息，具体是，针对句子中的每个token，根据token的embedding的相似度计算，找到最相近的前k个，然后，做注意力计算，加权得到相应的表示，在和原来的context 的embedding组合形成最终用于CRF的hidden state。我们首先根据它们预先训练的嵌入来提取令牌中最相似的词。然后，增强模块使用注意机制对提取的单词所携带的语义信息进行加权。之后，利用加权语义信息通过门模块增强主干模型。

这篇文章的思想，可以参考：EMNLP-21-TEBNER: Domain Specific Named Entity Recognition with Type Expanded Boundary-aware Network。或许两篇文章一起读，效果较佳。

看实验，感觉模型的效果，并乜有太大的提示。。倒是觉得这篇文章，可以用在nosiy label的识别上，不对，应该是数据量较少的label识别上，这篇文章可以作为NER正式开场之前的“预训练”阶段。（预训练打上引号）——让模型适应该任务之后，在做task domain的NER任务。

可以借鉴这种思路。处理noise label。在消融实验中，提到，主要结果表明，在协正则化框架中使用模型的两个副本已经显着提高了性能。

亮点，我觉得是任务难度的考虑，在损失函数中，根据关系相似度判断每个instance识别的难度，并适当的调整权重。这里有点意思。另外，是关系原型的表示，从instance内部和instance之间建立层次，分别得到关系的原型表示，再用对比学习，进一步得到更佳原型表示，也还好。但感觉，在评价任务难度上，做的不太好，只用相似度一个指标，覆盖不太全面的吧。

文章的创新是label 的text的融合方法。两个encoder和label的attention融合。但文中，没有给出是使用一个encoder同时编码text和Q和两个不同encoder编码Q和A的效果对比。在语义融合中，对比了，average pooling和使用sent—level【CLS】做信息融合的性能和文中使用的sent token level+attention的性能对比。在已有的融入模式中，前人的做法，Q和A采用同一个encoder，一般模型的输入是【CLS】+Q+【SEP】+A。

整理完之后，感觉模板只是很粗浅的一部分，是这个论文的一部分，他的关键是如何把控BART的generation，文中考虑BART原有的generation概率，也考虑了copy机制，在copy机制中，改进了attention head的选择方式，不再是考虑全部的attention head，而是选择top-k的head作为copy 的计算来源。模板是形，BART改进是实。它们保证了整个模型的效果。

这篇文章是从NER的实体边界检测上，做了改进，是在边界检测方面，融合了BIO和文中提出的一种机制（Break or Tie）和phrase match机制，算是多种方法的结合吧（一个多粒度边界感知网络，从本地和全局检测实体边界）。在识别实体mention之后，做的实体类型的预测。

看起来这篇文章，做的似乎并不是特别好，效果性能提升不太大。对比实验中，有一个KGQA-adapter的实验，肯能会有点意思。