Deep Neural Networks for Learning Graph Representations论文笔记

最新推荐文章于 2023-02-10 22:33:59 发布
原创 最新推荐文章于 2023-02-10 22:33:59 发布 · 1.1k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

该博客探讨了如何使用深度神经网络学习图表示，重点介绍了随机漫游和上下文加权的概念，以及堆叠去噪自编码器在处理PPMI矩阵中的应用。文章提出了一种随机漫游模型，其中节点有α概率继续转移，(1-α)概率返回起点，形成概率向量pk。此外，利用去噪自编码器进行图数据的非线性表示学习，以增强模型的鲁棒性。

Deep Neural Networks for Learning Graph Representations

stack anto-encoder 的相关介绍

网络性质 属性、标签 权重 方向 方法 任务
同质 有 有权 有向 matrix factorization node classification
异质 无 无权 无向 random walk link prediction
/ / / 有向&无向 deep learning clustering (community detection)
/ / / / transition matrix visualization

输入：对角矩阵与转移矩阵的相乘，且 α \alpha α概率相乘， 1 − α 1-\alpha 1−α 概率回到起点

文章是2016年的，深度学习大火，所以，这篇文章的重点在于应用深度学习，用非线性模型来抓取其中的结构、语义信息。

主体是auto-encoder，auto-encoder的输入是经过随机减少特征的PPMI矩阵，这个PPMI矩阵，是特殊的转移矩阵的经过k步衰减之后的求和。

Random Surfing and Context Weighting

We introduce a row vector p k p_k pk​, whose j-th entry indicates the probability of reaching the j-th vertex after k steps of transitions, and p 0 p_0 p0​ is the initial 1-hot vector with the value of the i-th entry being 1 and all other entries being 0.

那么其实这里的 p 0 p_0 p0​只是第 i i i个节点的起始状态， p k p_k pk​是以第

最低0.47元/天 解锁文章
guaidoukx
关注
Deep Neural Networks for Learning Graph Representations——paper 笔记
wang2008start的专栏
07-31 2470
和基于 SVD 的降维（将原始的高维空间通过线性变换隐射到低维空间上）不同，深度神经网络，比如 stacked auto-encoders 学习到的映射都是高度非线性的。 论文开头，通过介绍 Deepwalk，说明如何将节点的表示转化成线性表示。 展示两种word 向量表示方法：1，负采样的skip-gram和基于PPMI矩阵的矩阵分解。 矩阵分解，利用词和词的共现矩阵来产生词向量表示，主要缺...
A Comprehensive Survey on Graph Neural Networks论文阅读笔记
风行
09-04 1706
A Comprehensive Survey on Graph Neural Networks细节点摘要介绍部分将机器学习应用到Graph领域的问题2D卷积和Graph卷积相似之处和区别文章的贡献之处文章框架GNNs背景GNNs和network embeddingGNNs和graph kernel methodsGNNs 符号notationsSpatial-Temporal Graph定义GNNs分类框架网络结构划分RecGNNs：学习节点表示ConvGNNs：将网格数据的卷积推广到GraphGraph
基于深度学习的图表示学习方法综述（Deep Learning for Learning Graph Representations）.pdf
03-24
图，如社交网络、单词共存网络和通信网络，广泛地存在于各种现实应用中。通过对它们的分析，我们可以深入了解社会结构、语言和不同的交流模式，因此图一直是学界研究的热点。
图表示深度学习综述（Deep Learning for Learning Graph Representations）【清华大学朱文武老师】.zip
01-04
近年来，随着网络数据量的不断增加，挖掘图形数据已成为计算机科学领域的热门研究课题，在学术界和工业界都得到了广泛的研究。但是，大量的网络数据为有效分析带来了巨大的挑战。因此激发了图表示的出现，该图表示将图映射到低维向量空间中，同时保持原始图结构并支持图推理。图的有效表示的研究具有深远的理论意义和重要的现实意义，本教程将介绍图表示/网络嵌入的一些基本思想以及一些代表性模型。
【论文阅读｜深读】DNGR:Deep Neural Networks for Learning Graph Representations
海到无边天作岸 山登绝顶我为峰
07-05 2635
原文链接：https://dl.acm.org/doi/abs/10.5555/3015812.3015982会议：AAAI‘16 （CCF A类）年度：2016在本文中，我们提出了一种新的学习图表示的模型该模型通过捕获图结构信息来生成每个顶点的低维向量表示与以往的研究不同，我们采用随机冲浪模型（ random surfing model）直接获取图结构信息，而不是使用Perozzi等人(2014)提出的基于抽样的方法生成线性序列我们还为Levy和Goldberg(2014)提出的矩阵分解方法提供了一个新的
【论文】解读Deep Neural Networks for Learning Graph Representations
panbaoran913的博客
04-14 1879
Deep Neural Networks for Learning Graph Representations 摘要 本文提出了一个新颖的学习图表示的模型，它可以对每个节点通过抓取图结构信息得到一个低维的向量表示。不同于前任的研究，我们采用一个‘随机冲浪模型’(random surfing model)去直接抓取结构信息，而不是使用Perozzi等人提出的基于采样方法的生成的线性序列。我们方法的优势将从理论和经验的角度来说明。 我们还为Levy和Goldberg (2014)提出的矩阵分解方法提供了一个新的
Introduction to Graph Neural Networks
最新发布
07-08
contains rich relational information between elements and cannot be well handled by traditional deep learning models (e.g., convolutional neural networks (CNNs) or recurrent neural networks (RNNs)). ...
刘知远-Introduction to Graph Neural Networks.pdf
04-01
Euclidean graph data that contains rich relational information between elements and cannot be well handled by traditional deep learning models (e.g., convolutional neural networks (CNNs) or recurrent ...
【论文阅读】Deep Neural Networks for Learning Graph Representations | day14，15
qq_41821608的博客
02-01 773
《Deep Neural Networks for Learning Graph Representations》- (AAAI-16)-2016 文章目录一、模型1.1解决了两个问题1.2优点二、背景知识2.1DeepWalk中的未加权图随机采样法2.2 两种从线性结构数据中学习词语表示的线性方法2.2.1Skip-gram with Negative Sampling带负抽样的跳跃图2.2.2 PMI matrix 结合 SVD 使用2.2.3深度神经网络三、DNGR模型3.1随机冲浪模型3.2优点  
论文笔记之Learning Deep Representations for Graph Clustering
BVL的博客
01-09 4184
本篇论文是2014年AAAI的一篇论文。思想也比较简单，主要是采用SAE（栈式自编码），在graph上进行node embedding，将embedding得到的每个node的vector做为输入，进行graph cluster。论文中采用的是最常用的k-means方法来cluster。算法如下： step1 得到graph的n*n的邻接矩阵S和度矩阵Dstep2 将D’S作为SAE的输入
Deep learning in graph clustering 论文两篇
DawnRanger的专栏
08-16 4926
1. Learning Deep Representations for Graph Clustering论文信息：Tian, Fei, et al. “Learning Deep Representations for Graph Clustering.” AAAI. 2014.来自微软亚洲研究院，这是最早将深度学习应用于图聚类问题(graph clustering)的文章。论文的思路非常简单，首
Graph Representation
weixin_52812620的博客
02-10 214
《Molecular Graph Representation Learning and Generation for Drug Discovery》第二章
论文笔记(1)：Deep Learning.
weixin_30412013的博客
05-10 384
论文笔记1：Deep Learning 2015年，深度学习三位大牛（Yann LeCun，Yoshua Bengio & Geoffrey Hinton），合作在Nature上发表深度学习的综述性论文，介绍了什么是监督学习、反向传播来训练多层神经网络、卷积神经网络、使用深度卷积网络进行图像理解、分布式特征表示与语言处理、递归神经网络，并对深度学习技术的未来发展进行展望。...
论文笔记：GraRep: Learning Graph Representations with Global Structural Information
qq_35771020的博客
03-12 1861
一、基本信息 论文题目：《GraRep: Learning Graph Representations with Global Structural Information》 发表时间：CIKM 2015 论文作者及单位： 论文地址：https://dl.acm.org/citation.cfm?id=2806416.2806512 二、摘要 本文提出了一种...
【ＧＮＮ论文阅读】Residual or Gate? Towards Deeper Graph Neural Networks for Inductive Graph Representation L
qq_39656041的博客
11-28 1186
Residual or Gate? Towards Deeper Graph Neural Networks for Inductive Graph Representation Learning 一、主要工作二、研究动机三、创新点四、具体思路五、理论分析六、实验效果 Networks for Inductive Graph Representation Learning ) 一、主要工作 文章提出了一种用于inductive图表示学习的通用gra
Deep learning 论文笔记
liziqin的博客
05-18 2828
版权声明：本文为博主原创文章，未经博主允许不得转载。文章申明：小白初作，随意拍论文原文：http://pages.cs.wisc.edu/~dyer/cs540/handouts/deep-learning-nature2015.pdftitle：《Deep learning》author：Yann LeCun 1,2 , Yoshua Bengio 3  & Geoffrey Hinto...
Graph representation and definition
New coder, Step further
01-28 356
representation: adjacency matrix 好处是对边或者权重的queries 都是O(1), remove or add an edge也是O(1). 坏处是对点不友好，增加一个点的操作是O(V^2). 而且本身存储太space consuming，同样是点的平方复杂度。导致在sparse matrix里不适用。 Adjacency Matrix is a 2D ar...
Graph Representation 图神经网络
吴建明wujianming_110117
07-11 611
Graph Representation 图神经网络 图表示学习(representation learning)——图神经网络框架，主要涉及PyG、DGL、Euler、NeuGraph和AliGraph五个框架。除了NeuGraph没有开源外，其它框架都已开源。 Pytorch Geometric (PyG) PyG在PyTorch上实现，最核心的类是torch_geometric.nn.MessagePassing，用户只需定义消息传递ϕ\phiϕ（message()）、更新函数γ\gammaγ（up
Graph-001-Graph-Representation
Sunshine
04-19 312
DenseGraph.h #ifndef INC_02_GRAPH_REPRESENTATION_DENSEGRAPH_H #define INC_02_GRAPH_REPRESENTATION_DENSEGRAPH_H #include <iostream> #include <vector> #include <cassert> using namesp...
%E5%8F%82%E8%80%83%E6%96%87%E7%8C%AE%5Cn%5B1%5D+Bengio+Y%2C+Ducharme+R%2C+Vincent+P%2C+et+al.+A+neural+probabilistic+language+model%5BJ%5D.+Journal+of+machine+learning+research%2C+2003%2C+3%28Feb%29%3A+1137-1155.%5Cn%5B2%5DMikolov+T%2C+Kombrink+S%2C+Deoras+A%2C+et+al.+Rnnlm-recurrent+neural+network+language+modeling+toolkit%5BC%5D%2F%2FProc.+of+the+2011+ASRU+Workshop.+2011%3A+196-201.%5Cn%5B3%5D+Sundermeyer+M%2C+Schl%C3%BCter+R%2C+Ney+H.+LSTM+neural+networks+for+language+modeling%5BC%5D%2F%2FThirteenth+annual+conference+of+the+international+speech+communication+association.+2012.%5Cn%5B4%5D+Kalchbrenner+N%2C+Grefenstette+E%2C+Blunsom+P.+A+convolutional+neural+network+for+modelling+sentences%5BJ%5D.+arXiv+preprint+arXiv%3A1404.2188%2C+2014.%5Cn%5B5%5D+Bastings+J%2C+Titov+I%2C+Aziz+W%2C+et+al.+Graph+convolutional+encoders+for+syntax-aware+neural+machine+translation%5BJ%5D.+arXiv+preprint+arXiv%3A1704.04675%2C+2017.%5Cn%5B6%5D+Collobert+R%2C+Weston+J.+A+unified+architecture+for+natural+language+processing%3A+Deep+neural+networks+with+multitask+learning%5BC%5D%2F%2FProceedings+of+the+25th+international+conference+on+Machine+learning.+2008%3A+160-167.%5Cn%5B7%5D+Mikolov+T%2C+Chen+K%2C+Corrado+G%2C+et+al.+Efficient+estimation+of+word+representations+in+vector+space%5BJ%5D.+arXiv+preprint+arXiv%3A1301.3781%2C+2013.
05-17
### 关于神经网络语言模型的相关参考文献 #### Neural Probabilistic Language Model (NPLM) Neural Probabilistic Language Models引入了一种基于神经网络的方法来估计词的概率分布。这种方法通过学习连续空间中的词向量表示，能够捕捉到词语之间的语义关系[^1]。 #### Recurrent Neural Network Language Model (RNNLM) Recurrent Neural Networks (RNNs) 是一种专门设计用于处理序列数据的神经网络架构。RNNLM 利用隐藏状态的记忆能力，在自然语言处理任务中表现出色，尤其是在语言建模方面。其主要特点是能够在时间步之间共享参数并保持上下文信息[^2]。 #### Long Short-Term Memory (LSTM) Long Short-Term Memory networks是一种特殊的RNN变体，旨在解决传统RNN面临的长期依赖问题。LSTM通过引入门控机制（输入门、遗忘门和输出门），可以有效地记住长时间的信息流，这使得它成为许多序列预测任务的理想选择[^3]。 #### Convolutional Neural Networks (CNN) in NLP Convolutional Neural Networks最初被广泛应用于计算机视觉领域，但在自然语言处理(NLP)中也显示出强大的性能。对于文本分类、情感分析等任务，CNN可以通过局部特征检测器提取有意义的语言模式[^4]。 #### Unified Architecture for Natural Language Processing 某些研究提出了统一的神经网络框架，该框架可以在多种NLP任务上实现端到端的学习过程。这种架构通常结合了注意力机制和其他先进的技术，从而提高了跨不同应用场景的一致性和效率[^5]。 #### Word Representations in Vector Space Word embeddings是现代NLP的核心组成部分之一，它们将单词映射成高维实数向量的形式，以便更好地反映词汇间的相似度及其语法或语义特性。这些嵌入可以从大规模未标注语料库中学得，并且适用于各种下游任务[^6]。 ```python import torch.nn as nn class SimpleLanguageModel(nn.Module): def __init__(self, vocab_size, embed_dim, hidden_dim): super(SimpleLanguageModel, self).__init__() self.embedding = nn.Embedding(vocab_size, embed_dim) self.rnn = nn.LSTM(embed_dim, hidden_dim, batch_first=True) self.fc = nn.Linear(hidden_dim, vocab_size) def forward(self, x): embedded = self.embedding(x) output, _ = self.rnn(embedded) prediction = self.fc(output[:, -1, :]) return prediction ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值