《AHNG: Representation learning on attributed heterogeneous network(2019-Elsevier)》

本文介绍了一种名为AHNG的模型,该模型能够将网络结构、语义信息和节点属性融合在一个统一的嵌入模型中,适用于异构网络。通过使用多维高斯分布表示节点,AHNG能捕捉节点表示的不确定性,并利用KL-divergence算法衡量节点间的不相似性,从而获得更佳性能。

前言

私以为这篇论文核心的地方没写清楚,也可能是我学识浅薄。

这篇论文讲的是对图做 embedding,类似于语言模型中的word2vec。

Abstract

Network Embedding 的目的是将节点编码到一个低纬空间中,同时保留网络的 structure 和 properties,大多现有的工作都致力于homogeneous or heterogeneous plain networks。

1、Introduction

先科普一下同构网络与异构网络,如果节点的种类大于1或者边的种类大于1就是异构网络,否则是同构网络。

本文主要贡献:

  • 提出了AHNG模型,将网络结构、语义信息和AHNs节点属性融合在一个统一的嵌入模型中。AHNG表现出诱导性,即,它可以推广到以前不可见的节点或孤立的节点,而不需要额外的训练。
  • 我们用一个多维高斯分布来表示每个节点来捕获节点表示的不确定性,并通过实验证明了AHNG利用KL-divergence算法来度量节点之间的不相似性,可以获得更好的性能。
  • 在真实数据上评估该模型的有效性和效率。

2、Related work

过。

3、The proposed AHNG

在这里插入图片描述

3.1、Problem formulation and framework

Definition 1:这部分先描述一下定义,它与普通的网络不同的是每个节点包含一些特征。

Definition 2: 这里描述了一下什么是 meta-path,就是说节点的种类很多,然后可以定义某种类型的节点到另一种类型的节点,然后根据这个meta-path,产生相应的路径。例如:mate-path为:[作者名->论文名],这样就可以在图中找到 [小王->论文1],mata-path可以发现节点的潜在关系

另外,说是将网络投影到低纬空间,更重要的意义是投影到连续空间,便于后面的工作。

3.2、Attribute encoder

就是两层的网络,这是它这篇论文核心的地方,但是作者没有写清楚。我个人理解它这里假设 uiu_iui 是均值,然后 ∑i\sum_ii 是方差,然后用KL散度来计算损失。

3.3、Mate-path based random walker

这里是用《metapath2vec: Scalable Representation Learning for Heterogeneous Networks》论文中的方法,它的做法是基于元路径的随机游走来制定一个节点的邻居,之后利用 skip-gram 模型来实现 embedding。

3.4、Learner

计算损失象 skip-gram 那样,然后利用前面的两层网络输出的均值和方差来算KL散度,然后用了一下正采样与负采样。

4、实验等

过。

### DPGNN(双感知图神经网络)用于表示学习 #### 架构设计 Dual-perception graph neural network (DPGNN) 是一种旨在通过融合不同模态的信息来增强节点特征表达能力的模型架构。该方法利用两个独立但相互关联的子网分别处理局部和全局结构信息,从而实现更丰富的表征[^1]。 对于局部视角,DPGNN 能够捕捉近距离邻居之间的交互模式;而对于全局视角,则关注于远距离节点间的关系建模。这种双重机制有助于提高对复杂网络拓扑的理解力,并为下游任务提供更加鲁棒且具有区分度的嵌入向量。 #### 实现细节 为了有效实施上述理念,在具体编码过程中可以采用如下策略: - **消息传递框架**:基于经典的 GNN 消息传播范式,定义两套不同的聚合函数以适应各自的感受野需求; ```python import torch class LocalAggregator(torch.nn.Module): def forward(self, x, edge_index): # Implement local aggregation logic here pass class GlobalAggregator(torch.nn.Module): def forward(self, x, batch): # Implement global pooling/aggregation logic here pass ``` - **多尺度特征提取**:引入跨层连接或跳跃链接,使得每一层都能获取到前序层次产生的中间状态作为补充输入源之一; - **自注意力机制**:借鉴 Transformer 的成功经验,在必要位置加入 self-attention 层以便更好地权衡重要性和权重分配给各个部分的数据流路径。 #### 应用场景 得益于其独特的设计理念,DPGNN 不仅适用于传统的社交关系预测、推荐系统等领域,还能够在新兴方向上发挥重要作用,比如但不限于: - 物联网设备间的协同工作优化; - 生物医学领域内的蛋白质功能分类与药物靶点发现; - 自然语言处理中的语义解析及情感分析等自然语言理解类问题求解。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值