Classifying Relations by Ranking with Convolutional Neural Networks实现（pytorch）

1. 问题描述

这是关系抽取的一篇经典文章Classifying Relations by Ranking with Convolutional Neural Networks。使用的是SemEval2010 Task 8 数据集，共有9种二元关系，每种关系对实体的前后排列敏感，加上other分类一共19个小分类。

2. 网络结构

论文的主要是在Zeng 2014的CNN基础上做的改进，最大的变化是损失函数，不再使用softmax+cross-entropy的方式，而是margin based的ranking-loss。还有一个对于other分类的特殊处理。

先看网络结构，不考虑loss的改变，实际上的网络结构没有什么变化，同样是一层CNN加上一层全连接：

• 输入层：word embedding+position embedding
• 卷积层：长度固定为3的卷积核（实际实现的代码是多个卷积核）
• Pooling： max pooling
• 全连接层：线性相乘得到对应每个类别的score

全连接层之后没有使用常用的softmax+cross entropy，而是自定义了一个基于margin的ranking loss：

在这里有两个分数，$s_{\theta }(x{)}_{y^{+}}$指的是句子x正确分类对应的score，而$s_{\theta }(x{)}_{c^{-}}$指的是从全连接层得到的分数向量中除去$s_{\theta }(x{)}_{y^{+}}$之外最大的分量，也就是分数最大的错误得分。这样做在训练的过程中会使得$s_{\theta }(x{)}_{y^{+}}$不断变大而 s θ ( x ) c − s_{\theta}(x)_{c^{-}}