
图神经网络
weixin_40248634
清华大学计算机硕士
展开
-
SoftEdge: Regularizing Graph Classification with Random Soft Edges笔记
SoftEdge: Regularizing Graph Classification with Random Soft Edges本文提出了一种新的dropedge 的方式,不是直接丢掉边,而是对边进行加权 为之 Soft Edges。全篇都在解释为啥这个方法有用,文章提出了样本碰撞问题(sample collision issue), 也就是非常相似结构的但是标签不同的graph,会被映射到相同embedddings 空间的问题,这个问题其实在GNN 上一直存在,特别是1-WL test 表明是不是原创 2022-05-04 12:48:28 · 311 阅读 · 0 评论 -
ICML21-Graph Contrastive Learning Automated笔记
Graph Contrastive Learning AutomatedGraphCL 的 contrastive lossJOAOtow-level 的优化1. 第(4)式为:2. 第(9)式为:增广感知multi-projection heads:GraphCL 的 contrastive lossJOAOtow-level 的优化利用对抗的思想,进行两步优化,第一步更新encoder 的权重,第二步更新view generater 的权重。1. 第(4)式为:2. 第(9)式为:原创 2022-05-04 09:16:12 · 426 阅读 · 0 评论 -
WWW21-Graph Contrastive Learning with Adaptive Augmentation 笔记
ICML21-workshop Deep Graph Contrastive Representation Learning这篇文章是做无监督图表示学习的,使用了node-level 上的contrastive loss这个contrastive loss 就是在负样本的设计上多了inter-view 和 intra-view, 其他跟普通的contrastive 方法一样,也有GNN encoder , 有projection header。...原创 2022-05-03 11:58:37 · 444 阅读 · 0 评论 -
Measuring and Relieving the Over-smoothing Problem for Graph Neural Networks 笔记
AAAI2020-Measuring and Relieving the Over-smoothing Problem for Graph NeuralNetworks from the Topological View这篇文章是解决over-smoothing 问题的, 但是其提出了一种通过adaptive 调整edge 的方式,可以看成是一种数据增广的方法,including add_edge and remove_edge...原创 2022-05-02 21:40:00 · 414 阅读 · 0 评论 -
GraphCL: Graph Contrastive Learning with Augmentations笔记
Graph Contrastive Learning with Augmentationscontrastive learning algorithmpretraining model for molecular proporty predition使用最基础的contrastive loss 处理图graph-level的tasks, 包括self-supervised, semi-supervised graph classification,主要贡献是提出4种不同的augmentations.原创 2022-05-02 21:32:16 · 435 阅读 · 0 评论 -
WL-test (GIN)
可以看这个写的很好的博客原创 2022-04-26 15:53:07 · 754 阅读 · 0 评论 -
pytorch batch sparse tensor (构建稀疏batch)
直接通过scipy sparse矩阵转化这个方法的缺点是不能构建 batch 的sparse tensor def sparse_mx_to_torch_sparse_tensor(sparse_mx): """Convert a scipy sparse matrix to a torch sparse tensor.""" # sparse_mx = sp.coo_matrix(sparse_mx) sparse_mx1 = sparse_mx.to原创 2021-10-31 11:00:33 · 831 阅读 · 1 评论 -
GNN汇集邻域信息代码
def _region_aggregate(self, feats, edge_dict): """ feats: node features [n,feature_dim] edge_dict: adjacency list [[第一个node 邻接的node的编号],[],[]] 也就是node2node """ N = feats.size()[0] pooled_feats = torch.stack([torch.mean(feats[edge_d原创 2020-07-27 10:36:35 · 275 阅读 · 0 评论 -
GraphSAGE(17 -NIPS)
GraphSAGE摘要方法前向传播算法参数调整—— 自监督邻域选择聚集函数mean aggregatorLSTMPooling结果实验设定Citation 、Teddit、PPI 三个数据集代码: http://snap.stanford.edu/graphsage/摘要文章解决的是GNN的存在的不能很好地进行归纳学习的问题,大多数只是进行的直推学习,所以文章不是只对每个节点进行单独学习,而是考虑的局部节点的邻域信息。方法前向传播算法进行K次汇集,每次汇集使用不同的信息汇集参数和节点更新函数,共原创 2020-07-01 20:01:31 · 268 阅读 · 0 评论 -
DropEdge 代码笔记
def randomedge_sampler(self, percent, normalization, cuda): """ Randomly drop edge and preserve percent% edges. """ "Opt here" if percent >= 1.0: # percent=0.05 return self.stub_sampler(normalization, cuda) nnz = self.t..原创 2020-06-18 20:19:01 · 1675 阅读 · 0 评论 -
Graph Convolutional Neural Networks for Predicting Drug-Target Interactions(2019)笔记
Graph Convolutional Neural Networks for Predicting Drug-Target Interactions1. 摘要2. 数据集DUDE数据集改进DUDE-chemBl负样本数据集最大无偏数据集(MUV)3. 图构建pocket graphmolecuar graph4. 口袋pretraining 使用autoencoder4.1 阶段1 自编码编码器解码器4.2 阶段二自编码4.3 模型设计实验结果1. baseline2. 数据可视化3.测试模型是否有学习到原创 2020-06-11 14:40:14 · 1231 阅读 · 0 评论 -
DHGNN:Dynamic Hypergraph Neural Networks
IJCAI-19-Dynamic Hypergraph Neural Networks动机贡献DHNNDHC(动态超图construction)超图卷积节点卷积超边卷积实验Cora datasetMicroblog动机超图/图的边是固有的,所以这个很大的限制了点之间的隐含关系。文章提出了动态超图神经网络DHGNN,用于解决这种问题。其分成两个阶段:动态超图重建(DHG)以及动态图卷积(HGC)。DHG用于每一层动态更新超图结构(这里的每一层很关键,因为Dynamic hypergraph struct原创 2020-05-31 20:16:25 · 4742 阅读 · 3 评论 -
图神经网络聚类
传递算子Z=(1−η)Z+ηZZ=(1-\eta)Z+\eta ZZ=(1−η)Z+ηZ可以用来(GCN的迭代聚合,容易出现过平滑)减缓过平滑现象,也就是决定有多少是保留,有多少又是传递到下一个使用1 是将Q分布进行挤压,以获得更高置信度的分布P。用三个监督信息,对一个实体用多个视图进行描述会更准确使用重构loss 和聚类loss应用场景ACM是学术数据集,DBLP是电影数据集,真实的聚类问题是没有真实的标准答案的,而搞研究的实验数据集是有真正答案的;...原创 2020-05-29 19:57:53 · 2611 阅读 · 8 评论 -
MPNN(message passing neural networks)
Neural Message Passing for Quantum Chemistry阅读笔记1. 摘要2. 贡献3. 信息传递网络3.1卷积网络的分子指纹学习 ( Convolutional net-works on graphs for learning molecular fingerprints)3.2 门图神经网络(Gated Graph Neural Networks ([GG-NN...原创 2020-06-18 17:35:18 · 4575 阅读 · 0 评论 -
Predicting Drug−Target Interaction Using a Novel Graph Neural Network with 3D Structure-Embedded
Predicting Drug−Target Interaction Using a Novel Graph Neural Network with 3D Structure Embedded Graph Representation 笔记摘要methodgraph neural network嵌入蛋白配体复合物的结构信息摘要提出一种基于图神经网络的预测药物–靶向相互作用的深度学习方法,介绍...原创 2020-06-18 17:36:21 · 643 阅读 · 1 评论 -
Graph Matching Networks(GMNs) 笔记
Graph Matching Networks for Learning the Similarity of Graph Structured Objects笔记摘要贡献深度图相似学习1.图嵌入模型编码器传播层聚合器3.2 图匹配网络(GMN)摘要文章处理了检索和匹配图结构对象的挑战性问题。文章两个贡献:1. 证明了解决各种基于结构数据的监督预测问题高效模型graph neural netwo...原创 2020-06-18 17:35:39 · 5219 阅读 · 2 评论 -
AtomNet
AtomNet: A Deep Convolutional Neural Network for Bioactivity Prediction in Structure-based Drug Discovery摘要数据集模型输入表示网络结构模型训练baseline 方法比较结果论文链接:摘要深度卷积虽被应用于基于QSAR和配体的生物活性预测的药物发现,但是目前没有模型得益于卷积网强大的结构学...原创 2020-06-18 17:37:25 · 1076 阅读 · 0 评论 -
GAT(graph attention networks)
graph attention networks动机模型动机提出图注意力对图邻域的不同节点进行了权重指定,而且无需任何相近的矩阵操作(像转置),或者依赖之前的图结构知识。并且处理了几个基于谱的图卷积网络问题,让我们的模型可以处理归纳式以及直推式的问题。模型预备:输入:h={h⃗1,h⃗2,...h⃗N},h⃗i∈RF\mathbf{h}=\{\vec{h}_1,\vec{h}_2,....原创 2019-12-11 17:17:37 · 1062 阅读 · 1 评论 -
DIFFPOOL(Hierarchical Graph Representation)
Hierarchical Graph Representation Learning withDifferentiable Pooling动机核心思想图神经网络可微分池化层Differentiable Pooling)论文链接:https://arxiv.org/pdf/1806.08804.pdf一些概念:置换矩阵:每个行以及每个列都只有一个1的矩阵,其可以看做是单位阵经过行的交换而生成...原创 2019-12-07 00:39:27 · 1145 阅读 · 0 评论 -
图卷积(二)-图神经网络
二、图卷积结点映射结点映射目标是将原始空间的相似性也体现在映射空间中。目标:similarty(u,v)≈zvTzusimilarty(u,v)\approx z_v^Tz_usimilarty(u,v)≈zvTzu两个关键组件:将每个点映射到一个低维向量相似性函数指定向量空间中的关系如何映射到原始网络中的关系。从“浅”到“深”...原创 2019-11-15 15:16:36 · 1117 阅读 · 0 评论