CR-CNN（2015）论文阅读笔记

论文：Classifying Relations by Ranking with Convolutional Neural Networks（CR-CNN，2015）阅读笔记

一、背景

MV-RNN（2012）
CNN（2014）
FCM（2014）

二、模型

1.Word Embeddings（一般方法）

r_w = W^wrdv^w

v^w是one-hot向量，Word Embeddings维度为d_w。

2.Word Position Embeddings（一般方法）

Word Position Embeddings随机初始化，维度为d_wpe。

wpe^w = [wp₁,wp₂]。

如果使用Word Position Embeddings，则后续卷积层的输入为

emb_x = {[r^w1,wpe^w1], [r^w2,wpe^w2], …, [r^wN,wpe^wN]}，维度为（N，d_w+2*d_wpe）。

如果不使用Word Position Embeddings，则后续卷积层的输入为

emb_x = {r^w1, r^w2, …, r^wN}，维度为（N，d_w）。

3.Sentence Representation（卷积+maxpolling，一般方法）

为了方便表示，用矩阵乘法代替卷积操作。

①对于窗口大小k，在句子开始和结尾分别使用(k-1)/2的padding。

②根据窗口大小k对emb_x 划分窗口（每个word对应一个窗口，将每个窗口内的词的embedding连接起来。