GGNN(Gated Graph Sequence Neural Networks)

GGNN研究意义:

1、提升在图结构中长期的信息传播

2、消息传播中使用GRU，使用固定数量的步骤T，递归循环得到节点表征

3、边的类型，方向敏感的神经网络参数设计

4、多类应用问题，展示了图神经网络更多的应用以及强大的表征能力

 

本文主要结构如下所示:

一、Abstract

         本文提出使用GRU来更新图的节点信息，在一些数据任务上验证了模型的有效性

二、Introduction

          对图神经网络进行扩展，解决序列输出任务，提出GGS-NNS模型

三、Graph Neural Networks

          回顾之前的图神经网络，信息的前向传播规则，表示符号          

四、Gated Graph Sequence Neural Networks

          提出了GGS-NNS模型输出序列          

     

     

五、Explanatory Applications

         实验探究模型有效性: BABI任务，最短路径，欧拉图

     

六、Program Verification with GGN

          使用GGs-NNs模型，实现自动化的程序验证

七、Related Work

          回顾之前的的LSTM、GRU等深度学习模型，DeepWalk等GNN模型

八、Discussion

          讨论实验的多个任务、本质都是图结构以及目前模型的局限性

九、Code

           源码: https://github.com/chingyaoc/ggnn.pytorch

 

RNN && LSTM效果分析:

1、图结构数据、GNN模型更适用一些

2、RNN记忆能力差，LSTM有改善但不能完全解决

3、图结构的数据，数据顺序不影响输出，不存在RNN等建模的序列化信息

关键点:

 1、GGNN模型结构   2、参数矩阵由边的类型和方向决定  

创新点:

1、GRU更新消息框架  2、序列模型GGS-NNS

启发点:

1、用RNN方法定义GNN

2、迭代不要求收敛，可迭代固定步长

3、GGNN模型的graph layer层数可以较多

4、每一种边对应的参数矩阵可以处理异构图

5、与GNN常用框架之间的联系

6、将CNN和RNN发展的技术应用到GNN