Bidirectional Long Short-Term Memory Networks for Relation Classification（PACLIC 2015）论文阅读笔记

最新推荐文章于 2022-04-20 15:29:50 发布

原创

最新推荐文章于 2022-04-20 15:29:50 发布 · 1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#自然语言处理 #神经网络 #深度学习

本文介绍了一种使用双向长短时记忆网络(BLSTM)进行关系分类的方法，通过结合多种特征如词嵌入、位置、词性、命名实体等，解决了RNN的梯度消失问题。实验表明，仅使用词嵌入的BLSTM模型就能达到SOTA，而添加更多特征则能进一步提升性能。

一、背景

SVM（2010），MV-RNN（2012），CNN（2014），FCM（2014），CR-CNN（2015），DepNN（2015）。

理论上，RNN可以任意长度的序列进行建模。但由于梯度消失/梯度爆炸问题。实际上无法实现。LSTM引入门控机制，改进了RNN，从而获得了对长序列建模的能力。

本文提出了双向长短时记忆网络(BLSTM)来对包含所有单词完整、顺序信息的句子进行建模。同时，还使用从词汇资源(如WordNet)或NLP系统(如依赖解析器和命名实体识别器(NER)中获取的特征。在SemEval-2010上的实验结果表明，仅将单词嵌入作为输入特征的基于BLSTM的方法就可以达到最先进的性能，引入更多的特征可以进一步提高性能。

在这里插入图片描述
F：Forward
B：Backward
h：hidden
c：cell