GNN 2021(十二) On the Equivalence of Decoupled Graph Convolution Network and Label Propagation，WWW

最新推荐文章于 2024-10-11 20:10:19 发布
原创 最新推荐文章于 2024-10-11 20:10:19 发布 · 818 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#图神经网络

这篇论文深入探讨了解耦的图卷积网络（GCN）与标签传播的关系，证明解耦GCN本质上是两步标签传播过程。通过标签传播生成伪标签，然后在增强数据上训练神经网络。提出的新方法PTA（Propagation Then Training Adaptively）采用动态自适应加权策略，增强了模型对噪声的鲁棒性，改善了解耦GCN的缺陷。实验表明PTA在处理结构和标签噪声时表现优越，且训练效率更高。

在这里插入图片描述
解耦的GCN的工作机制还没有被很好地理解，尽管它是有效的。在这篇论文中，从一个新的和基本的角度探讨了半监督节点分类的解耦GCN。我们进行了深入的理论分析，证明解耦后的GCN本质上与两步标签传播相同：首先，将已知标签沿图传播，对未标记的节点生成伪标签；其次，在增强的伪标签数据上训练正规的神经网络分类器。我们揭示了解耦的GCN的有效性：超越传统的标签传播，它可以自动分配结构和模型感知权值给伪标签数据。这解释了为什么解耦后的GCN对结构噪声和过平滑具有较强的鲁棒性，但对标签噪声和模型初始化敏感。在此基础上，我们提出了一种新的标签传播方法——传播然后自适应训练(propagation then Training adap自适应，PTA)，该方法采用动态自适应加权策略，克服了GCN解耦的缺陷。

PRELIMINARIES

Decoupled GCN

解耦GCN的公式如下：
在这里插入图片描述
其中fθ(⋅)f

了解本专栏 订阅专栏 解锁全文 超级会员免费看
WWW2021 | 图机器学习论文一览
weixin_45519842的博客
04-26 1064
WWW2021上一篇公众号的文章由于字体颜色设置的问题，只能在微信深色背景模式下阅读QAQ。由于公众号每天只能群发一次，所以这篇文章只能晚一天和大家见面啦，在此小编和大家说一声抱歉~WWW...
论文记录：Decoupling GCN with DropGraph Module for Skeleton-Based Action Recognition
xcss831的博客
03-29 3736
论文记录：Decoupling GCN with DropGraph Module for Skeleton-Based Action Recognition 论文地址 论文代码 Abstract: 受cnn解耦聚合机制的启发，本文提出了Decoupling GCN，增加参数不超过10%的情况下，提升模型性能。 GCNs的另一个普遍问题是过拟合。文中提出了一种注意力引导的DropGraph来丢弃相关节点中的特征来解决该问题。 Decoupling graph convolutional
直播 | WWW 2021论文解读：论解耦图卷积网络和标签传播的等价性
Paper weekly
05-13 886
「AI Drive」是由 PaperWeekly 和 biendata 共同发起的学术直播间，旨在帮助更多的青年学者宣传其最新科研成果。我们一直认为，单向地输出知识并不是一个最好的方式，而...
GNN-CS224W: 5 Label Propagation for Node Classification
u012492756的博客
03-19 290
Task 全文都在解决这一个Task: Given a network with labels on some nodes, how do we assign labels to all other nodes in the network? 本文涉及的是Probabilistic framework，不涉及深度学习。 用到的信息 Classification label of a node vvv in network may depend on Features of node vvv Labels
【GCN-CTR】DC-GNN: Decoupled GNN for Improving and Accelerating Large-Scale E-commerce Retrieval WWW22
chadlee
07-19 747
第二个子图和第三个子图得到的embedding，进行对比学习，同一个节点在两个视图的embedding是正例，不同节点是负例。，比如targetnode是user，给这个节点采样三个子图出来，每个子图出了targetnode之外，分别只包含user、query、item节点。用Taobao近7天的记录作为数据集，有三类节点user、query和item，每个节点都有丰富的节点属性设备、年龄等。然后在已有子图的基础上，和SIGN那篇一样，直接将不同阶卷积的向量拼接起来。有边连接的是正例，然后采集。...
论文阅读和分析：LightGCN: Simplifying and Powering Graph Convolution Network for Recommendation
KPer_Yang的博客
02-08 851
论文阅读和分析：LightGCN: Simplifying and Powering Graph Convolution Network for Recommendation
LightGCN: Simplifying and Powering Graph Convolution Network for Recommendation论文学习笔记
wwer142526363的博客
10-11 2481
用户和商品最后表示的内积作为推荐生产的排名分数。
LightGCN: Simplifying and Powering Graph Convolution Network for Recommendation
nuist_Jiang的博客
10-24 2381
from Xiangnan He , University of Science and Technology of China, published in SIGIR‘20， July 25-30,Virtual Event, China. 研究背景 GCN（图卷积网络）成为协同过滤的最新技术，但是推荐的有效性原因不明确，现有工作缺乏对GCN的彻底的消融分析。GCN中最常见的两个设计-特征转换和非线性激活-对协作过滤的性能几乎没有贡献。更糟糕的是，包括它们会增加培训的难度并降低推荐性能。 GCN具体是做什
多模态----MMGCN: Multi-modal Graph Convolution Network for Personalized Recommendation of Micro-video
weiwei935707936的博客
11-30 2906
摘要: 个性化推荐在许多在线内容分享平台中扮演着核心角色。要想提供高质量的微视频推荐服务，就必须考虑用户与项目(即微视频)之间的交互，以及项目内容的不同形态(如视觉、听觉、文字)。现有的多媒体推荐工作主要利用多模态内容来丰富项目表示，而在利用用户和项目之间的信息交换来增强用户表示和进一步捕获用户对不同模式的细粒度偏好方面做的工作较少。 在本文中，我们提出了利用用户项交互来指导每个模态的表示学习，并进一步个性化微视频推荐。我们设计了一个基于图神经网络消息传递思想的多模态图卷积网络(MMGCN)框架，它可以
CS224W：标签传播Label Propagation on Graphs
2301_79012932的博客
08-18 383
 我们讨论了三个明确在图上进行预测时使用标签的想法：▪ 标签传播▪ 直接将已知标签传播到所有节点▪ 正确与平滑▪ 首先定义一个基础预测器，然后用标签传播校正和平滑预测▪ 掩码标签预测▪ 构建一个自监督的机器学习任务，让图机器学习模型传播标签信息 我们讨论了三个用于处理图上机器学习任务的框架 节点嵌入▪ 将节点嵌入到欧几里得空间，并在嵌入空间中使用距离度量来近似节点相似性 图神经网络▪ 迭代式的邻域聚合 标签传播▪ 归纳偏见：同质性。
第五周.02.标签传播与社群检测
老毛的博客
07-06 939
文章目录标签传播摘要2.1 Problem setup2.2 The algorithm社群检测摘要COMMUNITY DETECTION USING LABEL PROPAGATION 本文内容整理自深度之眼《GNN核心能力培养计划》 公式输入请参考：在线Latex公式 标签传播 Learning from Labeled and Unlabeled Data with Label Propagation 一篇比较老的文章，因此一些写法和现在的套路对不上。另外整体比较短。 摘要 本文用未标记的数据来辅助标
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
关于GCN和CNN中耦合聚集与解耦合的理解
qq_43601378的博客
08-05 2803
目录1.序言2.GCN中的耦合聚集3.CNN中的解耦合 1.序言 最近读论文看到很多论文提到了耦合与解耦合的概念，实在不懂，就细细看了一下，下面是我的理解，如有不对欢迎指出。本文参考论文： Cheng K, Zhang Y, Cao C, et al. Decoupling gcn with dropgraph module for skeleton-based action recognition[C]//Computer Vision–ECCV 2020: 16th European Conferen
文献阅读（16）ICLR2020-On The Equivalence between Node Embeddings and Structural graph representations
优快云TianJi的博客
04-14 1017
本文是对《On The Equivalence between Node Embeddings and Structural graph representations》一文的浅显翻译与理解，如有侵权即刻删除。
五月十大Java故事：TIOBE索引，Spring Boot 2.3，Java 16计划及更多
06-18 174
6月已经到来，这意味着现在该回顾一下2020年5月的所有激动人心的技术故事。在我们获得最多点击的十大新闻中，您将找到有关Java 16的更新和一个新的JEP以及三个访谈和Java，JavaScript和机器学习领域的几个新版本。 以下是五月份点击次数最多的十大故事。 C通过Java成为第一语言 排名第一的是TIOBE指数的最新每月更新。 该索引根据搜索引擎结果跟踪编程语言的受欢迎程...
【每日一读】ALG: Fast and Accurate Active Learning Framework for Graph Convolutional Networks
海到无边天作岸 山登绝顶我为峰
09-20 1478
Hello！ଘ(੭ˊᵕˋ)੭昵称：海轰标签：程序猿｜C++选手｜学生简介：因C语言结识编程，随后转入计算机专业，获得过国家奖学金，有幸在竞赛中拿过一些国奖、省奖…已保研学习经验：扎实基础 + 多做笔记 + 多敲代码 + 多思考 + 学好英语！唯有努力💪【每日一读】每天浅读一篇论文，了解专业前沿知识，培养阅读习惯（阅读记录 仅供参考）原文链接：https://dl.acm.org/doi/10.1145/3448016.3457325。
旷视CVPR2019图卷积多标签图像识别Multi-Label Image Recognition with Graph Convolutional Networks论文详解
祥瑞的技术博客
04-22 1万+
背景：GCN刚出来，很多很容易想到的idea会被运用起来，很容易产生一些paper。我们解析此篇论文，了解其中原理，一来看看如何将图卷积应用于目前技术上，二来看到底如何快速的把准确率刷到state of the art以便发文章。 代码地址：https://github.com/chenzhaomin123/ML_GCN 论文地址 https://arxiv.org/abs/1904.035...
图卷积神经网络与标签传播的区别
elia2008的专栏
01-20 1458
图卷积神经网络与标签传播的区别
神经网络代码解读_NeurIPS2020上图神经网络好文
weixin_35427210的博客
01-07 3239
今年的Neurips正在进行，图神经网络也是今年的一大热点，这里总结一下GNN的文章，贴个链接和概述备忘，如果有错误的或者遗漏的文章请大家一定指出来。整理不易，点个赞呗再走呗，欢迎关注我们的新专栏图神经网络实战，里面会更新一些图神经网络代码解读和最新的进展。如果大家有什么需要分享的，也欢迎投稿本专栏，感激不尽。GNN的测试：Design Space for Graph Neural Network...
图神经网络 （Graph Neural Network,GNN）
最新发布
12-10
<think>我们正在讨论图神经网络（GNN），用户要求介绍GNN及其应用。根据提供的引用，我们可以总结如下： 引用[1]提到：GNN是一类专门处理图结构数据的深度学习方法，也称为几何深度学习。它接收图结构和节点特征作为输入，可采用监督或无监督学习训练，本节重点讨论无监督训练方式。 引用[2]提到：GNN利用图的拓扑结构（节点和边的连接关系）学习节点、边或整个图的表示（embedding），用于下游任务如节点分类、边预测、图分类和图生成。 引用[3]提到：GraphSAGE通过采样邻居节点进行信息聚合（而不是使用整个图的邻居）来处理大规模图数据，聚合方式包括均值聚合、LSTM聚合等。还提到了图同构网络（GIN）。 根据以上信息，我们将组织回答如下： 1. GNN介绍：定义、核心思想、与传统神经网络的区别。 2. GNN原理：从图结构数据的特点出发，解释信息传递机制（消息传递、聚合、更新），并简要介绍几种经典模型（如GCN、GraphSAGE、GIN）。 3. GNN应用：列举典型应用场景（节点分类、边预测、图分类、图生成）并举例说明。 4. 建模注意事项：从引用中提炼关键点（如大规模图处理、聚合方式选择等）。 最后，我们将生成相关问题。 注意：由于引用中未提供数学公式，我们将使用标准GNN公式（如消息传递框架）进行说明，并确保使用正确的LaTeX格式。 </think> ### 图神经网络（Graph Neural Network, GNN）介绍及应用 图神经网络（GNN）是一类专门处理**图结构数据**的深度学习模型，也称为几何深度学习（geometric deep learning）[^1]。与传统神经网络不同，GNN能直接处理非欧几里得空间数据（如社交网络、分子结构），通过**拓扑结构**（节点和边的连接关系）学习节点、边或整个图的表示（embedding）[^2]。 #### 1. GNN核心原理 GNN基于**信息传递机制**，通过迭代聚合邻居信息更新节点表示： 1. **消息传递**：每个节点收集邻居信息 $$ m_v^{(k)} = \text{AGGREGATE}^{(k)} \left( \{ h_u^{(k-1)} \mid u \in \mathcal{N}(v) \} \right) $$ 2. **状态更新**：结合自身特征与聚合信息 $$ h_v^{(k)} = \text{UPDATE}^{(k)} \left( h_v^{(k-1)}, m_v^{(k)} \right) $$ - $h_v^{(k)}$：节点$v$在第$k$层的表示 - $\mathcal{N}(v)$：节点$v$的邻居集合 - AGGREGATE：聚合函数（如均值、最大值或LSTM[^3]） **经典模型**： - **GraphSAGE**：通过**采样邻居**减少计算量，支持均值/LSTM聚合[^3] - **GIN（图同构网络）**：使用多层感知机（MLP）聚合，保证更强的表达能力 - **GCN（图卷积网络）**：基于谱图理论实现卷积操作 #### 2. GNN的应用场景 | 任务类型 | 应用场景举例 | 说明 | |----------------|----------------------------------|----------------------------------------------------------------------| | **节点分类** | 社交网络用户兴趣预测 | 预测节点标签（如用户兴趣类别） | | **边预测** | 推荐系统（用户-物品交互） | 判断节点间是否存在潜在连接（如电商推荐） | | **图分类** | 化学分子毒性检测 | 对整个图分类（如判断分子是否具有毒性） | | **图生成** | 药物分子设计 | 生成新图结构（如设计特定性质的化合物） | | **其他领域** | 交通流量预测、欺诈检测 | 利用图结构建模复杂关系（如道路网络、交易网络） | #### 3. 建模关键点 1. **输入处理**：需同时输入**图结构**（邻接矩阵）和**节点特征**（如用户属性）[^1] 2. **聚合方式选择**： - 简单图：均值聚合（高效） - 复杂依赖：LSTM聚合（捕捉序列信息） 3. **大规模图优化**： - 邻居采样（如GraphSAGE减少计算负载） - 分批处理（仅加载子图进行计算） 4. **训练策略**： - 无监督学习：通过节点相似性生成embedding[^1] - 监督学习：结合下游任务标签微调 **典型流程示例**（节点分类任务）： ```python import torch_geometric as pyg model = pyg.nn.GCN(in_channels=64, hidden_channels=128, out_channels=10) # 定义GCN模型 optimizer = torch.optim.Adam(model.parameters(), lr=0.01) for epoch in range(100): optimizer.zero_grad() out = model(data.x, data.edge_index) # 输入节点特征和边索引 loss = criterion(out[data.train_mask], data.y[data.train_mask]) loss.backward() optimizer.step() # 更新参数 ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

五月的echo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值