用Bi-GRU+Attention和字向量做端到端的中文关系抽取
关系抽取可以简单理解为一个分类问题:给定两个实体和两个实体共同出现的句子文本,判别两个实体之间的关系。
实现的算法
关系抽取从实现的算法来看,主要分为四种:
1、手写规则(Hand-Written Patterns);
2、监督学习算法(Supervised Machine Learning);
3、半监督学习算法(Semi-Supervised Learning,比如Bootstrapping和Distant Supervision);
4、无监督算法。
GRU (Gated Recurrent Unit)
由于RNN在处理序列时具有严重的梯度消失问题, 即越靠后的节点对于前面的节点感知能力越低. 为了解决梯度消失问题
而GRU作为LSTM的变体, 对序列数据处理同样非常适合, 也是通过“门机制”来记忆前面节点的信息, 以此解决梯度消失问题.
基于Bi-GRU和Self-Attention模型的企业关系抽取
Bi-GRU虽然考虑了长距离词的相关性,但提取特征不够充分
所以在已有基础上引入Self-Attention,使模型能进一步计算每个词的长程依赖特征,提高模型的特征表达能力。