【读】关系抽取—（1）Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification

最新推荐文章于 2021-12-28 10:43:12 发布

原创

最新推荐文章于 2021-12-28 10:43:12 发布 · 8.8k 阅读

30 ·

CC 4.0 BY-SA版权

学习本无底，前进莫徬徨。

这是一篇Relation Classification相关的paper，出自于中科大自动化所 Zhou ，Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification。收录于ACL 2016。

3.2 Bidirectional Network

4.1 Dataset and Experimental Setup

4.2 Experimental Results

5 Conclusion

LINK

NOTE

待修改

本文主要做了三个方面的工作：

（1）基于注意力的双向长短期记忆网络（Att-BLSTM）来捕获句子中最重要的语义信息。

（2）使用词向量级别的attention机制的方法.

（3）句子级特征向量最终用于关系分类。

Abstract

关系分类是自然语言处理领域（NLP）的一项重要的语义处理任务。当前水平的系统仍然依赖于词汇资源，如WordNet或NLP系统，如依赖解析器和命名实体识别器（NER）来获得高级特性。另一个挑战是，重要的信息可以出现在句子的任何位置。为了解决这些问题，我们建议基于注意力的双向长短期记忆网络（Att-BLSTM）来捕获句子中最重要的语义信息。对SemEval-2010关系分类任务的实验结果表明，我们只用词向量级别的attention机制的方法，优于大多数现有的方法。

# 这里要写小评论，可是我不会改字体

1 Introduction

关系分类是在对许多NLP应用程序中寻找语义关系的任务，如信息提取（Wu and Weld, 2010），问题回答（Yao and Van Durme, 2014）。例如，下面的句子包含了一个关于名词的花和小教堂之间的实体-目的地关系的例子。

<e1>花</e1>被带入<e2>教堂</e2>。

<e1>，</e1>，<e2>，</e2>是四个位置指示器，指定了名词的开始和结束（Hendrickx等人，2009）。

传统的关系分类方法，从词汇资源中使用人工标注的特征，通常基于模式匹配，并取得了很高的性能(Bunescu and Mooney, 2005; Mintz et al., 2009; Rink and Harabagiu, 2010)）。这些方法的一个缺点是，许多传统的NLP系统被用来提取高级特性，比如语音标签的一部分、最短的依赖路径和命名实体，从而导致计算成本的增加和额外的传播错误。另一个缺点是，人工标注特征是很耗时间的，而且由于不同的培训数据集的覆盖率很低，所以在泛化方面表现不佳。

最近，深度学习方法提供了一种有效的方法来减少人工标注特征的功能 (Socher et al., 2012; Zeng et al., 2014)。然而，这些方法仍然使用词汇资源，如WordNet（Miller，1995）或NLP系统，如依赖解析器和NER，以获得高级特性。

本文提出了一种新的神经网络-BLSTM关系分类。我们的模型利用双向长短期记忆网络（BLSTM）的神经注意机制来捕捉句子中最重要的语义信息。该模型不使用来自词汇资源或NLP系统的任何特性。

本文的贡献是利用BLSTM与注意力机制，它可以自动聚焦于对分类有决定性影响的词语，在不使用额外知识和NLP系统的情况下，捕捉句子中最重要的语义信息。我们在SemEval-2010任务8数据集上进行实验，并获得84.0%的f1-分数，比现有的文献中大多数方法都要高。

本文的其余部分按如下方式构造。在第2部分中，我们回顾了有关关系分类的相关工作。第3部分详细介绍了我们的Att-BLSTM模型。在第4部分中，我们描述了实验评估的设置和实验结果。最后，我们在第5部分有了结论。

# 这里要写小评论，可是我不会改字体

多年来，提出了有关关系分类的各种方法。它们中的大多数都基于模式匹配，并应用额外的NL