Att-BiLSTM关系分类（2015）论文阅读笔记

Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification（Att-BiLSTM关系分类，2015）论文阅读笔记

一、背景

SVM（2010）
CNN（2014）
RNN（Zhang and Wang，2015）–长程依赖问题
SDP-LSTM（2015）–比较复杂
BLSTM（Zhang，2015）–使用了很多复杂特征

本文的贡献：
提出了基于注意力机制的BiLSTM网络用于关系分类，它可以自动聚焦于对分类有决定性影响的词，以捕捉句子中最重要的语义信息。网络只使用word vectors 和position indicators作为特征，而不使用其他外部特征和NLP系统。（position indicators，PI：< e1 >，< /e1 >，< e2 >，< /e2 >，本文将PI作为single words输入，与其他词一起经过embedding层）

二、模型

1.Word Embeddings

vⁱ 是one-hot向量，e_i 的维度为d^w。W^wrd在训练过程中也作为参数进行学习。

2.Bidirectional Network

本文使用LSTM的变体，即增加了一个peephole connecti