阅读笔记——2019_06 Constructing Narrative Event Evolutionary Graph for Script Event Prediction

论文链接
作者的代码与数据集

Script Event Prediction（脚本事件预测）

（1）定义

由Chambers和Jurafsky提出：
通过给定的事件上下文，从候选列表中选择最合理的后续事件

（2）已有工作

$$\{\begin{array}{l}基于事件对\\ 基于事件链\end{array}$$

（3）本文工作

①事件演化表示

在事件对于事件链表中，显示E(talk)与C(serve)之间有着更强的联系，从而会选择错误答案E。使用图结构，使得事件B,C,D之间构成了强连接的组件，故在E与D之间会选择D
事件演化图（EEG) 用于存储事件演化原则和模式。其形式上是一个有向循环图，节点是事件，边代表事件之间的关系，如时间和因果关系。
本文提出叙事事件演化图(NEEG)。

②后续事件推导

$$\{\begin{array}{l}CNN(Duvenaud2015):运用于端到端学习，输入可以是任意大小和形状的图\\ CNN-variant(KipfandWelling2017):选择了一阶局部近似作为卷积结构，对图边的数量进行线性扩展。\\ GNN(Gori2005):解决图问题最为有效的方法，问题：学习需要收敛，对图中长距离传播困难。\\ GNN+gatedrecurrentunits(Li2016):改进GNN，但仅适用于小图。\\ SGNN(本文工作）：采用分而治之思想，每次只处理相关节点，可以处理大规模图。\end{array}$$

创新点

①第一个提出事件图概念

②提出放缩神经网络，在大规模稠密有向图上有效

我们提出了一个缩放图神经网络，它可以在大规模稠密有向图上建模事件交互，并学习更好的事件表示来进行预测。

（4）模型

$$\{\begin{array}{l}从新闻专线语料库中抽取事件链\\ 基于抽取的事件链构建NEEG\end{array}$$
语料库和事件链抽取方法同(Granroth-Wilding and Clark,2016)
叙述事件链 S = { s 1 , s 2 , s 2 , … , s N } S=\{s_1,s_2,s_2,\dots,s_N\} S={s1​,s2​,s2​,…,sN​},其中 s i = { T , e 1 , e 2 , e 3 , … , e m } s_i=\{T,e_1,e_2,e_3,\dots,e_m\} si​={T,e1​,e2​,e3​,…,em​}。为克服事件的稀疏性问题，使用事件$e_i$的抽象形式$(v_i,r_i)$表示事件，$v_i$由非引理的谓词动词表示，$r_i$是$v_i$与链实体$T$的句法依存关系
$$w({\nu }_j|{\nu }_i)=\frac{count({\nu }_i,{\nu }_j)}{{\Sigma }_{k}count({\nu }_i,{\nu }_j)}$$
$count({\nu }_i,{\nu }_j)$是二元模型出现在训练事件链中的频率

GGNN(gated graph neural network):
在GNN的基础之上加入时间和门控循环单元的反向传播
缺点：GGNN需要将整个图作为输入，因此它不能有效地处理具有数十万个节点的大规模图$\to$分治
故，在每一个训练样本中，只有一个带有上下文和候选事件节点的子图。

（5）事件表示

使用预先训练好的动词以及元素的词嵌入表征事件，对于包含一个以上单词的元素，仅仅使用解析器识别的首字。词典外的单词以及缺失的元素使用零向量表示。
事件 e i = { p ( a 0 , a i , a 2 ) } e_i=\{p(a_0,a_i,a_2)\} ei​={p(a0​,ai​,a2​)}，动词和事件元素的词嵌入为$v_p,v_{a_0},v_{a_1},v_{a_2}\in {\mathbb{R}}^d$，其中d表示词嵌入的维数

三种广泛使用的语义合成方法：
平均值：使用所有动词以及事件元素的平均值向量作为整个事件的表示
非线性变换：
$$v_e=tanh(W_p\cdot v_p+W_0\cdot v_{a_0}+W_1\cdot v_{a_1}+W_2\cdot v_{a_2}+b)$$
其中W,b都是参数
连接：将所有的动词和事件元素连接起来一同表示一个事件
与GGNN相结合
h ( 0 ) = { v e 1 , v e 2 , … , v e n , v e c 1 , v e c 2 … , v e c k } h^{(0)}=\{v_{e_1},v_{e_2},\dots,v_{e_n},v_{e_{c_{1}}},v_{e_{c_{2}}}\dots,v_{e_{c_{k}}}\} h(0)={ve1​​,ve2​​,…,ven​​,vec1​​​,vec2​​​…,veck​​​}
$A\in {\mathbb{R}}^{(n+k)\times (n+k)}$为子图的连接矩阵，其中
$$A[i,j]=\{\begin{array}{l}w(v_j|v_i),当v_i\to v_j\in E\\ 0,其他\end{array}$$

（6）选择后续事件得分函数

attention机制
$$u_{ij}=tanh(W_h{h}_i^{(t)}+W_c{h}_{c_j}^{(t)}+b_u)$$
$${\alpha }_{ij}=\frac{exp(u_{ij})}{{\Sigma }_{k}exp(u_{kj})}$$
$$s_{ij}={\alpha }_{ij}g(h_i^{(t)},h_{c_j}^{(t)})$$

（7）模型目标函数

$$L(\Theta )={\Sigma }_{I=1}^N{\Sigma }_{j=1}^k(max(0,margin-s_{I_y}+s_{I_j}))+\frac{\lambda }{2}||\Theta |{|}^2$$
其中$s_{I_j}$为第$I$个事件与第$j$个候选事件之间的相似性得分，$y$是正确后续事件的索引

（8）实验