GNN Pooling(八)：STRUCTPOOL via CRF，ICLR2020

最新推荐文章于 2022-07-23 17:28:55 发布
原创 最新推荐文章于 2022-07-23 17:28:55 发布 · 1k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#图神经网络 #图池化

本文提出了一种新的图池技术STRUCTPOOL，它将图池视为节点聚类问题，利用条件随机场(CRF)捕获节点间关系。模型考虑了节点特征矩阵和节点聚类分配，通过吉布斯分布定义CRF，同时关注一元能量和成对能量，以反映图的拓扑结构。实验结果表明，STRUCTPOOL在不同数据集上表现出优越的性能。

目录


本文的作者来自Texas A&M University。大多数现有的图池技术没有显式地考虑图的结构信息，本文将图池看作是一个节点聚类问题，需要学习一个聚类分配矩阵。我们建议将其表示为一个结构化预测问题，并使用条件随机场来捕获不同节点分配之间的关系。使用CRF的直觉是这样的： 给定节点的分配应该依赖于输入节点特性和其他节点的分配，而CRF正是通过无向图模型捕获不同节点分配之间的这种高阶结构关系。

图模型

在这里插入图片描述
所谓概率图模型，就是由图表示的概率分布。无向图模型之所以被称为马尔科夫随机场，是因为其联合概率分布需要满足成对马尔科夫性，或者局部马尔科夫性，或者全局马尔科夫性。这三个马尔科夫性是等价的。

三个马尔科夫性

成对马尔科夫性
在这里插入图片描述
假设 Y u Y_u Yu​和 Y v Y_v Yv​是不相邻的两个节点， Y o Y_o Yo​是所有其他的节点，那么成对马尔科夫性则是说：给定 Y o Y_o Yo​则 Y u Y_u Yu​和 Y v Y_v Yv​相互独立： P ( Y u , Y v ∣ Y O ) = P ( Y u ∣ Y O ) P ( Y v ∣ Y O ) P(Y_u,Y_v|Y_O)=P(Y_u|Y_O)P(Y_v|Y_O) P(Yu​,Yv​∣YO​)=P(Yu​∣YO​)P(Yv​∣YO​)
局部马尔科夫性
在这里插入图片描述
Y v Y_v Yv​是任一节点，给定 Y v Y_v Yv​的所有邻居 Y w Y_w

最低0.47元/天 解锁文章
GNN Pooling(一)：Graph U-Nets，ICML2019
qq_36618444的博客
06-29 2853
本文的两位作者都来自TexasA&M University, TX, USA。看起来有些熟悉，果然是咱们之前读过的论文的作者：Learning Graph Pooling and Hybrid Convolutional Operations for Text Representations，WWW。并且，在池化过程中采用的基本思路是都差不都的。 相比于图卷积的研究，针对于图池化的研究要少许多。本文提出了U-Nets，这是一种类似于Encoder-Decoder的操作，分为GPool和gUnpoo
GNN Pooling(五)：Self-Attention Graph Pooling，2019ICML
qq_36618444的博客
07-13 3346
目录Graph PoolingMethodSelf-Attention Graph Pooling Graph Pooling 本文的作者来自Korea University, Seoul, Korea。话说在《请回答1988里》首尔大学可是很难考的，韩国的高考比我们的要更激烈乃至残酷得多。 本文提出了一种基于自注意的图池方法。使用图形卷积使我们的池化方法同时考虑节点特征和图形拓扑。为了确保公平的比较，对现有的池方法和我们的方法使用了相同的训练过程和模型架构。实验结果表明，该方法在参数合理的情况下，能够在基
GNN Pooling(六)：Graph Convolutional Networks with EigenPooling，KDD2019
qq_36618444的博客
07-14 1621
目录1. EigenPool1.1 Graph CoarseningEigenvector-Based PoolingTHEORETICAL ANALYSIS OF EigenPoolingEXPERIMENT 这真是我读过的最难的一篇图池化了。有些没有理解的地方等日后再来拾遗。 本文作者来自Michigan State University，Pennsylvania State University以及IBM T. J. Watson Research Center。 图池化把节点分组为子图(对应池化之后
GNN中的Graph Pooling
热门推荐
木盏
06-25 1万+
前言 GNN/GCN在非欧数据中的应用具有极大的挖掘价值。通常，GNN的应用分为两种：1，节点分类；2，图分类。 节点分类可以用在点云分割，社交网络节点分类，推荐算法等等。 图分类可以用在姿态估计，蛋白质分类等等，当然，也可以用在图像分类。 对于节点分类而言，图结构在forward阶段是不会改变的，改变的只是节点的隐藏层属性。如下： 对于图分类而言，图结构在前传的时候会downsize，最后聚合成一个点的feature再做MLP： 截图来自论文：https://arxiv.org/abs
gnn-pooling:GNN的合并层实验
03-13
Gnn池 GNN的合并层实验
精选资源
GraphSAINT:[ICLR 2020； IPDPS 2019]针对深层GNN和大图的快速准确的小批量训练（GraphSAINT
03-26
GraphSAINT是用于在大型图上训练GNN的通用且灵活的框架。 GraphSAINT着重介绍了一种新颖的小批量方法，该方法专门针对具有复杂关系（即图形）的数据进行了优化。 训练GNN的传统方法是：1）。 在完整的训练图上构造...
GNN Pooling(七)：CLIQUE POOLING FOR GRAPH CLASSIFICATION，ICLR2019
qq_36618444的博客
07-17 746
本文作者来自于University of Cambridge，本文是一篇workshop，并且其内容也十分简单。本文提出了一种以clique（团）作为单元池的新型图池操作。由于这种方法是纯拓扑的，而不是特性的，它更容易解释，而且完全非参数化。该操作在图卷积网络(GCN)和GraphSAGE架构中实现，并通过标准图分类基准测试。此外，我们还探索了池化与规则图（像素图）的兼容性，演示了在使用我们的机制替换标准卷积神经网络(CNNs)中的2*2池化时具有竞争性的性能。 Model 话不多说，上图。 clique
【论文阅读 StructPool】STRUCTPOOL: STRUCTURED GRAPH POOLING VIA CONDITIONAL RANDOM FIELDS
Jasminx的博客
07-23 624
学习图的高级表示对于图分析任务非常重要。除了图卷积之外，图池化也是一个重要但探索较少的研究领域。特别是，大多数现有的图池化技术没有明确考虑图的结构信息。我们认为这些信息很重要，并在这项工作中开发了一种新的图池化技术，称为STRUCTPOOL。我们将图池视为一个节点聚类问题，需要学习聚类分配矩阵。我们建议将其表述为结构化预测问题，并使用条件随机场来捕捉不同节点的分配之间的关系。我们还将我们的方法推广到在设计吉布斯能量函数时纳入图拓扑信息。在多个数据集上的实验结果证明了我们提出的STRUCTPOOL的有效性。.
GNN Pooling(三)：An End-to-End Deep Learning Architecture for Graph Classification，AAAI2018；以及图核
qq_36618444的博客
07-03 5227
目录核，图核，图卷积核Deep Graph Convolutional Neural Network (DGCNN)Graph convolution layersConnection with Weisfeiler-Lehman subtree kernelConnection with propagation kernel未完待续...... 本文的作者来自Department of Computer Science and Engineering, Washington University in S
GNN Pooling(四)：Hierarchical Graph Representation Learning with Differentiable Pooling，NIPS2018
qq_36618444的博客
07-11 1190
目录Proposed MethodPreliminaries 本文的作者们来自Stanford University，TU Dortmund University，University of Southern California。 当前GNN架构的一个主要限制是，它们本质上是扁平的，因为它们只在图的边上传播信息，不能以分层的方式推断和聚合信息。因此本文提出了DIFFPOOL，一个可微的图池模块，可以适应各种图神经网络结构的层次和并以端到端方式进行训练。在池化的下采样过程中，DiffPool定义了一个模型来
GNN Pooling(十)：MEMORY-BASED GRAPH NETWORKS，ICLR2020
qq_36618444的博客
08-02 1206
目录MANN 本文作者来自University of Toronto，Sharif University of Technology。 本文提出了一种memory layer，借助multi-head array of memory keys和卷积算子，学习soft cluster assignment。不像是GCN依赖于local信息，memory layer依赖于全局信息，因此不用担心过平滑。根据memory layer为基础提出了两种不同的模型：memory-based GNN (MemGNN)以及g
GNN Pooling(二)：Pointer Networks，NIPS2015；SEQUENCE TO SEQUENCE FOR SETS,ICLR,2016
qq_36618444的博客
07-02 2079
Pointer Networks简称Ptr-Net，是在Seq2Seq的基础上进行的改进。对于Seq2Seq的任务，输入输出都是任意的，而对于一些实际的问题，输出的长度、内容严重依赖于输入（甚至就是从输入中选出一部分作为输出），为了解决这个问题，Ptr-Net被提出来。其本质就是对Self-Attention进行的简单改进，使用注意力作为指针来选择输入序列中的一个成员作为输出。本文也在三个常见的任务中证实了Ptr-Net的有效性。 Ptr-Net也有着广泛的应用，比如文本摘要，比如图池化（Set2Set）。
suricata 结构体struct Pool_说明
ljq32的专栏
01-06 945
suricata 内存池结构体struct Pool_结构体底层存储数据的是void*指针，所以可以存储任意类型的数据，我目前看到的tcp的分段和会话都使用该内存池进行存储，结构体分别是TcpSegment，TcpSession，在初始化函数PoolThreadInit->PoolInit中调用各自的内存分配函数进行内存分配。 ​ /* pool structure */ typedef struct Pool_ { uint32_t max_buckets; pool的最大bucket
GNN Pooling(十一)：Edge Contraction Pooling for Graph Neural Networks，2019
qq_36618444的博客
09-06 1691
本文的作者来自An-Institut Technische Universität München，本文至今好像还未正式发表。 本文提出了EdgePool，其能够学习一个局部和稀疏的硬池变换，并自然地考虑到图结构，确保不会完全删除节点。EdgePool优于其他的池化方法，可以很容易地集成到大多数GNN模型中，并且在节点分类和图分类方面都提高了性能。 EdgePool Edge contraction 为了实现边池，提出了一种Edge contraction的策略。引入新节点vev_eve​和新边，使vev_
【阅读笔记】Mutual CRF-GNN for Few-shot Learning
靓仔博客
01-10 1678
在本文中，我们提出了一种新颖的 Mutual CRF-GNN (MCGN)。在这个 MCGN 中，支持数据的标签和特征被 CRF 用于以有原则和概率的方式推断 GNN 亲和力。具体来说，我们构建了一个以标签和支持数据的特征为条件的条件随机场 (CRF)，以推断标签空间中的亲和力。这种亲和性作为节点亲和性被馈送到 GNN。GNN和CRF在MCGN中相互促进。
ICLR2020 | 图池化没有考虑图结构？一文带你了解最新图池化STRUCTPOOL
DrugOne
06-26 2959
作者 | 程玉审稿 | 俞琳荟今天给大家介绍的是TAMU的Hao Yuan等人的一篇论文，该研究针对目前的大多数图池化技术忽略了图结构这一可能会引起重要特征丢失的信息，巧妙地利用可以捕获...
深度学习之CNN中pooling
AndyJ的学习之旅
06-05 816
概要 1、pooling主要是在用于图像处理的卷积神经网络中，但随着深层神经网络的发展，pooling相关技术在其他领域，其他结构的神经网络中也越来越受关注。 2、卷积神经网络中的卷积层是对图像的一个邻域进行卷积得到图像的邻域特征，亚采样层就是使用pooling技术将小邻域内的特征点整合得到新的特征。pooling确实起到了整合特征的作用。 3、pooling的结果是使得特征减少，参数减少，但pooling的目的并不仅在于此。pooling目的是为了保持某种不变性（旋转、平移、伸缩等），常用的有mean-p
《StructPool Structured Graph Pooling via Conditional Random Fields》阅读笔记
LW的技术小筑
05-21 690
一.概述 本文作者提出了一种获取图级（graph-level）表示的新图池化（graph pooling）——STURCTPOOL。通过STRUCTPOOL将图池化视为节点聚簇问题，通过其可以对原始图的节点进行聚簇，然后基于此生成一个新图，新图上的每个节点都由原始图上一个簇的节点生成。在聚簇的过程中，不仅考虑了节点的特征，还考虑了其它节点的簇分配（一种拓扑信息，通过条件随机场获得）。作者在多个数据集上进行实验，证明了通过STRUCTPOOL可以获取到更具表达力的图表示。 二.STRUCTURED GRAPH
【GNN】Diff Pool：网络图的层次化表达
阿泽的学习笔记
06-09 1676
今天学习的是斯坦福大学的同学 2018 年的工作《Hierarchical Graph Representation Learning with Differentiable Pooling》，目前共有 140 多次引用。 目前，GNN 在图分类任务中的处理方法本质上是平面的（Flat），无法学习图形的层次化表达。对于一个包含多个标签的图来说，传统的方法都是为图中每个节点生成一个 Embedding 向量，然后利用这些 Embedding 向量来做全局池化或者输入到 MLP 中来预测图标签，但这种方法忽视了
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

五月的echo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值