MR-GNN: Multi-Resolution and Dual Graph Neural Network for Predicting Structured Entity Interactions

MR-GNN: Multi-Resolution and Dual Graph Neural Network for Predicting Structured Entity Interactions

基本信息

博客贡献人

鲁智深

作者

Nuo Xu, Pinghui Wang, Long Chen, Jing Tao, Junzhou Zhao

摘要

    预测结构化实体之间的相互作用是许多任务的核心，如药物疗法和新材料设计。近年来，图神经网络变得越来越有吸引力。它们将结构化的实体表示为图，然后使用图的卷积操作从每个单独的图中提取特征。然而，这些方法存在一些局限性： i)网络只从每个节点的固定大小的子图结构（即，一个固定大小的接受域）中提取特征，忽略不同大小的子结构特征；ii)通过独立考虑每个实体提取特征，可能不能有效地反映两个实体之间的交互。为了解决这些问题，论文提出MR-GNN，一个端到端图神经网络具有以下特点： i)使用基于多分辨率的架构从每个节点的不同邻域提取节点特征，ii)使用对偶graph-state长短期记忆网络(LSTMs)总结每个图的局部特性并提取成对图之间的交互特性。在真实数据集上进行的实验表明，MR-GNN改进了最先进的方法的预测性能。

问题定义

符号：用图$G=(V,E)$来表示一个结构化的实体，其中$V$是节点集，$E$是边集。每个特定节点$v-i\in V$与一个$c$维特征向量$f_i\in R^c$相关联。特征向量也可以是节点的低维潜在表示/嵌入，也可以是直观地反映节点属性的显式特征。同时，让$N_i\subseteq V$表示$v_i$的邻居，$d_i\triangleq |N_i|$表示$v_i$的度。
实体交互预测：令 L ≜ { l i ∣ i = 1 , 2 … , k } L\triangleq\{l_i|i=1,2…,k\} L≜{ li​∣i=1,2…,k}表示两个实体之间的一组$k$个交互标签。实体交互预测任务表述为一个监督学习问题：给定训练数据集$D\triangleq \{(G_X,G_Y{)}_s,{\hat{R}}_s{\}}_{s=1}^q$，其中$(G_X,G_Y{)}_s$是一个输入实体对，${\hat{R}}_s\in L$是相应的交互标签；令$q$表示$D$的大小，目标是想要准确地预测一个看不见的实体对$(G_X,G_Y{)}_{new}$的交互标签$R\in L$。

方法

方法描述

    下图描述了MR-GNN的架构，主要由三个部分组成： 1)多个加权图卷积层，从不同大小的接受域中提取结构特征，2)对偶graph-state LSTMs，总结多分辨率结构特征并提取交互特征，3)全连接层，预测实体交互标签。

图1. MR-GNN的一个三层框架。对于每个输入图，它使用几个图的卷积层（GCLs）来学习多分辨率的结构特征。然后，对于每个GCL，一个图聚合层对相同分辨率的节点向量求和，得到一个图状态。将具有不同接受域的不同GCLs的图状态输入到S-LSTM和I-LSTM，以综合学习最终的表示。最后，最终的S-LSTM隐藏向量，最终的I-LSTM隐藏向量，以及整个图的图池向量，传递到下面的全连接层，学习预测模型。

加权图卷积层

标准图卷积算子
受图像上卷积算子的启发，对于图中的特定节点，一般空间图卷积将节点的特征及其一阶邻居作为节点的新特征。根据上述定义，以节点$v_i$为例，公式为：
f i ( t + 1 ) = σ ( ( f i ( t ) + ∑ v j ∈ N i f j ( t ) ) W d i ( t ) ) , t = 0 , 1 , . . . (1) f_i^{(t+1)}=σ((f_i^{(t)}+\sum_{v_j∈N_{i}}f_j^{(t)})W_{d_i}^{(t)}),t=0,1,...\tag{1} fi(t+1)​=σ((fi(t)​+vj​∈Ni​∑​f