GNN 2021(九) Node2Seq: Towards Trainable Convolutions in Graph Neural Networks，PREPRINT

最新推荐文章于 2024-01-02 07:43:55 发布
原创 最新推荐文章于 2024-01-02 07:43:55 发布 · 465 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#图神经网络

本文提出Node2Seq框架，利用注意机制和1D CNN处理图数据，解决节点排序和不均匀邻接节点问题。通过自适应地结合非局部信息，提升图神经网络的表现。实验在多个数据集上展示了方法的有效性。

在这里插入图片描述
本文提出了一个称为Node2Seq的框架，以学习节点嵌入与明确可训练的权值为不同的邻近节点。对于目标节点，我们的方法通过注意机制对其邻近节点进行排序，然后使用1D卷积神经网络(CNNs)使信息聚集的权重显式。最近很少看到这种比较原始的空间方法了，换个口味也不错。

Method

将传统cnn应用于图形数据有两个主要挑战;即不同节点之间没有排序信息，不同节点相邻节点的个数不同。为了解决这些问题，我们提出的Node2Seq层首先通过注意机制学习对邻近节点进行排序，对于给定的节点iii，其邻近节点被注意到该节点，并计算注意得分。两个节点之间的注意力得分表明了这两个节点的相似程度。根据注意得分对节点i的邻近节点进行排序，从而使排序信息变得清晰。然后，使用1D cnn学习不同的权值来聚合不同的节点信息，最终将聚合的输出特征

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Graph Convolutional Neural Networks for Web-Scale Recommender Systems（用于Web级推荐系统的图形卷积神经网络）
weixin_41697507的博客
07-07 4373
Graph Convolutional Neural Networks for Web-Scale Recommender Systems 用于Web级推荐系统的图形卷积神经网络 ABSTRACT Recent advancements in deep neural networks for graph-structured data have led to state-of-the-art pe...
行为预测模型：Social LSTM与Graph Neural Networks
最新发布
优快云博客专家，系统架构师，有合作、疑惑请私信博主。
10-20 15万+
行为预测模型：Social LSTM与Graph Neural Networks ，人工智能，计算机视觉，大模型，AI，本文围绕行为预测模型Social LSTM与Graph Neural Networks展开，介绍了两者的基础概念、原理、应用场景，还对比了它们在优势、劣势和适用场景上的不同，最后给出了相应的代码示例。Social LSTM基于LSTM，通过社交池化层处理多智能体交互；图神经网络处理图结构数据，靠消息传递获取信息，二者各有侧重，适用于不同场景。
node2vec论文阅读
myofficials的博客
12-26 1万+
本文要阅读的论文来自数据挖掘领域的顶级会议KDD-2016. 本篇文章是一种Graph representataion 得益于CNN以及Seq2seq等模型，深度学习在图像和自然语言处理等领域有很好的应用。然而在涉及到图（有向图，无向图）结构的应用比如社交网络，如何去对图建模，仍旧是一个问题。该论文提供了一种很好的建模思路。作者受到word2vec的启发，提出了node2vec 一种对于图中的节点使
卷积神经网络不能处理“图”结构数据？这篇文章告诉你答案
weixin_34133829的博客
08-02 872
本文要介绍的这一篇paper是ICML2016上一篇关于 CNN 在图（graph）上的应用。ICML 是机器学习方面的顶级会议，这篇文章--<< Learning CNNs for Graphs>>--所研究的内容也具有非常好的理论和实用的价值。如果您对于图的数据结构并不是很熟悉建议您先参考本文末的相关基础知识的介绍。 CNN...
GRAPH2SEQ: GRAPH TO SEQUENCE LEARNING WITH ATTENTION-BASED NEURAL NETWORKS
yellow_red_people的博客
06-02 2407
Introduction 提出了一种新的基于注意力的图序列学习神经网络模型Graph2Seq。Graph2Seq模型遵循传统的编解码器方法，包含两个主要组件，一个图形编码器和一个序列解码器。本文提出的图形编码器旨在学习表达性节点嵌入，并将其重新组合成相应的图形嵌入。为此,灵感来自最近的图表示学习方法(汉密尔顿et al ., 2017),我们建议归纳基于神经网络学习节点从节点属性通过聚合社区信息...
论文导读 | Graph2Seq
weixin_48167662的博客
07-22 1904
北京大学 张欣勃 Seq2Seq在很多任务上达到了很好的效果，如神经机器翻译（Neural Machine Translation）、自然语言生成（Natural Language Generation）、语音识别（Speech Recognition）、药物检测（Drug Discovery）等，其结构可概括为编解码器（encoder-decoder），在encoder中，将输入表示为序列（sequence），并采用LSTM等模型进行表示，并通常在decoder阶段结合注意力机制输出序列。然而基于图数据
Paper：大模型之《Pre-Trained Models: Past, Present and Future大规模预训练模型的发展历史、最新现状和未来发展三个方向》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
12-12 1万+
Paper：大模型之《Pre-Trained Models: Past, Present and Future大规模预训练模型的发展历史、最新现状和未来发展三个方向》翻译与解读目录Paper：《Pre-Trained Models: Past, Present and Future大规模预训练模型的发展历史、最新现状和未来发展三个方向》翻译与解读Abstract1 Introduction简介2 Background背景2.1 Transfer Learning and Supervised Pre-Tra
DAG-GNN: DAG Structure Learning with Graph Neural Networks
MTandHJ的博客
05-30 1235
文章目录概主要内容代码 Yu Y., Chen J., Gao T. and Yu M. DAG-GNN: DAG structure learning with graph neural networks. In International Conference on Machine Learning (ICML), 2019. 概 有向无环图 + GNN + VAE. 主要内容 先前已经有工作(NOTEARS)讨论了如何处理线性SEM模型 X=ATX+Z, X = A^TX + Z, X=ATX+
论文阅读_XGNN: Towards Model-Level Explanations of Graph Neural Networks
Paranoid_99的博客
10-17 1287
GNN大多时候是一个黑匣子，缺乏人类可理解的解释。如果无法解释GNN模型，在很多场景下是不可应用的。XGNN在模型级别解释GNN，可以提供高层次和一般性的理解。。如果将图生成表示为一个强化学习的任务，对于每个步骤，图生成器都会预测如何将边添加到当前图中。基于训练后的GNN信息，通过策略梯度训练图生成器。此外，我们还加入了一些图规则，以保证生成的图是有效的。实验结果表明，所生成的图可以为如何改进训练的神经网络提供指导。
图神经网络实战（1）——图神经网络(Graph Neural Networks, GNN)基础
盼小辉丶的博客
01-02 13万+
本节全面介绍了图神经网络 (Graph Neural Network, GNN) ，包括其在数据分析和机器学习中的重要性。首先探讨了图作为数据表示的相关概念及其在各个领域的广泛应用；然后深入探讨图学习的重要性，包括不同的应用和技术。最后，重点介绍了 GNN 架构，并对比了它与其他方法之间的原理和性能差异。
GNN 2021(一) AdaGCN: Adaboosting Graph Convolutional Networks into Deep Models，ICLR
qq_36618444的博客
03-07 2688
目录AdaboostADAGCNCOMPARISON WITH EXISTING METHODSEXPERIMENTS 本文在GCN中首次引入了AdaBoost方法，提出了AdaGCN模型。与其他直接堆叠多个图卷积层的图神经网络不同，AdaGCN在所有层之间共享相同的基神经网络架构，并进行递归优化，类似于RNN。此外，还从理论上建立了AdaGCN与现有图卷积方法之间的联系，展示了本的方案的优点。 本文认为构建深度图模型的一个关键方向在于对来自不同邻域的信息进行高效的探索和有效的组合，单纯的多次聚合会导致深.
GNN 2021(六) GraphSMOTE: Imbalanced Node Classification on Graphs with Graph Neural Networks，WSDM
qq_36618444的博客
04-17 2100
在样本不均衡的任务中，对少数的样本过采样或是生成新样本都能够解决样本不均问题，但是派过采样算法不能为新合成的样本提供关系信息，而这对于图的学习是至关重要的。此外，节点属性是高维的。直接在原始输入域中进行过采样会产生域外样本，影响分类器的准确性。为此，我们提出了一个新的框架，GraphSMOTE，在其中构造一个嵌入空间来编码节点之间的相似性。新样本在这个空间合成，以确保真实性。此外，同时训练一个边缘生成器来建模关系信息，并为这些新样本提供边。这个框架是通用的，可以很容易地扩展到不同的变体中。 INTRODU.
GNN 2021(八) Heterogeneous Graph Structure Learning for Graph Neural Networks，AAAI
qq_36618444的博客
04-22 1974
北邮石川老师团队的论文，又是有关异构图的。 本文指出，异构图在现实中不可避免地是有噪声的或不完整的，因此，对于hgnn来说，学习异构图结构而不是仅仅依赖原始图结构是至关重要的。本文首次尝试学习最优的异构图结构用于hgnn，提出了一个新的框架HGSL，该框架将异构图结构学习和GNN参数学习联合起来进行分类，在每个生成的关系子图中，HGSL不仅通过生成特征相似图来考虑特征相似性，还通过生成特征传播图和语义图来考虑特征和语义之间复杂的异构交互。然后，将这些图融合成一个学习过的异构图，并与GNN一起朝着分类目标进.
GNN2021(二) Adaptive Universal Generalized PageRank Graph Neural Network, ICLR
qq_36618444的博客
03-08 1644
文章目录IntroductionPRELIMINARIESGPR-GNNSTHEORETICAL PROPERTIES OF GPR-GNNS定理4.1定理4.2实验 Introduction 引入一种新的广义PageRank (GPR) GNN架构来解决异构性与过平滑问题，该架构自适应地学习GPR权值，从而联合优化节点特征和拓扑信息提取，而不管节点标签的同质性或异质性的程度。本文模型的架构与上一篇读过的论文差不多，但是给出了大量的理论证明，对于研究GNN原理的小伙伴有很大的启发（也注定了我写这篇博客得花.
GNN 2021(五) Node Similarity Preserving Graph Convolutional Networks，WSDM
qq_36618444的博客
04-17 1402
本文证实了GNNs的聚集过程往往会破坏原始特征空间中的节点相似性，因此提出了SimP-GCN框架在利用图结构的同时能够有效地保持节点相似性。具体来说，为了平衡图结构和节点特征的信息，提出了一种自适应集成图结构和节点特征的特征相似性保持聚合。此外，使用自监督学习明确捕获节点之间的复杂特征相似性和不相似性关系（添加了正则化项）。我们在7个基准数据集上验证了SimP-GCN的有效性，包括3个同分类图和4个非同分类图。结果表明，SimP-GCN优于代表性基线。 INTRODUCTION 通过实证研究，本文证明:(.
GNN 2021(四) Learning to Drop: Robust Graph Neural Network via Topological Denoising，WSDM
qq_36618444的博客
04-16 1205
提出一种参数化的拓扑去噪网络PTDNet，通过学习删除与任务无关的边缘来提高GNNs的鲁棒性和泛化性能。对于删除/增加边而提升网络性能操作，已经有很多了。PTDNet通过参数化网络惩罚稀疏图中与任务无关的边的数量来修剪。考虑到整个图的拓扑结构，采用核范数正则化对生成的稀疏图施加低秩约束，从而得到更好的泛化（换成简单的话就是，可以通过添加正则化项提升准确率）。PTDNet可以作为GNN模型的关键组件，提高其在各种任务上的性能，如节点分类和链路预测（换句话说就是可以与基线GNN模型结合）。对合成数据集和基准数.
GNN 2021(七) GraphMix: Improved Training of GNNs for Semi-Supervised Learning，AAAI
qq_36618444的博客
04-21 1183
其实本文就是与ICLR19年发表的一篇论文Manifold Mixup做了一个结合，利用Manifold Mixup提出了一种基于半监督节点分类的图神经网络正则化方法，通过参数共享和基于插值的正则化，与图神经网络共同训练全连接网络。最主要的难点在于从理论上分析了GraphMix如何改进底层图神经网络的泛化边界，而没有对图神经网络的聚合层数或深度做任何假设。本文的方法也可以与一些基线模型相结合，比如GCN，GAT，Graph-U-Net等。为了简化我们暂时不看大量的公式证明，直接看Mixup数据增强的思想如.
GNN2021(二十) DIRECTED ACYCLIC GRAPH NEURAL NETWORKS，ICLR2021
qq_36618444的博客
01-08 1147
无环有向图的图神经网络
GNN 2021(十四) HDMI: High-order Deep Multiplex Infomax，WWW
qq_36618444的博客
05-21 1139
本文算是对之前的模型Deep Graph Infomax（DGI）的一个改进，DGI主要作用于自监督的节点分类，使用最大化局部节点嵌入和全局摘要之间的互信息的方式在许多下游任务(如节点分类)上显示出了很好的结果。然而，DGI有两个主要的限制。首先，DGI只考虑外部监督信号(即节点嵌入与全局总结之间的互信息)而忽略了内在信号(即节点嵌入与节点属性之间的相互依赖)。其次，现实网络中的节点通常由多条关系不同的边连接，而DGI并没有充分挖掘节点之间的各种关系。因此本文提出了HDMI模型，主要的贡献为： 本文提出.
D2 : Customizing Two-Stage Graph Neural Networks for Early Rumor Detection through Cascade Diffusion Prediction
05-29
为了通过级联扩散预测定制两阶段图神经网络（GNN）以实现早期谣言检测，需要从以下几个方面进行分析和设计。首先，级联扩散预测是一种基于传播路径的建模方法，能够捕捉信息在社交网络中的传播模式[^1]。其次，两...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

五月的echo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值