Deep Neural Networks for Learning Graph Representations——paper 笔记

最新推荐文章于 2024-07-24 20:44:43 发布
原创 最新推荐文章于 2024-07-24 20:44:43 发布 · 2.4k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了深度神经网络在学习图表示中的应用，以stacked auto-encoders为例，对比了基于SVD的降维方法。论文通过Deepwalk介绍了如何将节点转化为线性表示，并讨论了word向量的skip-gram和PPMI矩阵分解方法。DNGR模型采用random surfing model捕获图结构信息，结合PPMI矩阵和stacked denoising autoencoder学习低维图节点表示，解决了weighted图的embedding学习问题。

和基于 SVD 的降维（将原始的高维空间通过线性变换隐射到低维空间上）不同，深度神经网络，比如 stacked auto-encoders 学习到的映射都是高度非线性的。

论文开头，通过介绍 Deepwalk，说明如何将节点的表示转化成线性表示。 展示两种word 向量表示方法：1，负采样的skip-gram和基于PPMI矩阵的矩阵分解。

矩阵分解，利用词和词的共现矩阵来产生词向量表示，主要缺点是一些没有语义价值的如停用词，在产生词向量时发挥不成比例的作用。基于此有人提出了pointwise mutual information（PMI）矩阵。

 A stacked autoencoderPPMI矩阵是 当PMI为负值时，取0.

PPMI是个高维矩阵，可以通过 SVD 进行矩阵分解，产生 d 维因子。 U和V都是正交矩阵，中间是对角矩阵。

 

词向量可以表示为R，通过对角矩阵的top-d 得到。

最低0.47元/天 解锁文章
Deep Neural Networks for Learning Graph Representations论文笔记
guaidoukx的博客
04-13 1122
Deep Neural Networks for Learning Graph Representations stack anto-encoder 的相关介绍 网络性质 属性、标签 权重 方向 方法 任务 同质 有 有权 有向 matrix factorization node classification 异质 无 无权 无向 random walk link predic...
Learning Convolutional Neural Network for Graphs解读
WangKingJ的博客
11-17 1199
本片论文是2016ICML的一篇论文，将的是如何将CNN应用在graph上的一种新的思路。关于graph 这个数据结构如果不熟悉的话，可以看一下文章末的简单的整理。 1.概要   对于图卷积，总体来说，就是用w个固定size=(k+1)的子图来表示输入的graph，再将这w个子图正则化后，生成w(k+1)维的向量，作为传统的CNN网络的输入，进行学习。其实就是做了一个从graph到向量的映射的一个...
基于深度学习的图表示学习方法综述（Deep Learning for Learning Graph Representations）.pdf
03-24
图，如社交网络、单词共存网络和通信网络，广泛地存在于各种现实应用中。通过对它们的分析，我们可以深入了解社会结构、语言和不同的交流模式，因此图一直是学界研究的热点。
【论文】解读Deep Neural Networks for Learning Graph Representations
panbaoran913的博客
04-14 1864
Deep Neural Networks for Learning Graph Representations 摘要 本文提出了一个新颖的学习图表示的模型，它可以对每个节点通过抓取图结构信息得到一个低维的向量表示。不同于前任的研究，我们采用一个‘随机冲浪模型’(random surfing model)去直接抓取结构信息，而不是使用Perozzi等人提出的基于采样方法的生成的线性序列。我们方法的优势将从理论和经验的角度来说明。 我们还为Levy和Goldberg (2014)提出的矩阵分解方法提供了一个新的
【论文阅读｜深读】DNGR:Deep Neural Networks for Learning Graph Representations
海到无边天作岸 山登绝顶我为峰
07-05 2606
原文链接：https://dl.acm.org/doi/abs/10.5555/3015812.3015982会议：AAAI‘16 （CCF A类）年度：2016在本文中，我们提出了一种新的学习图表示的模型该模型通过捕获图结构信息来生成每个顶点的低维向量表示与以往的研究不同，我们采用随机冲浪模型（ random surfing model）直接获取图结构信息，而不是使用Perozzi等人(2014)提出的基于抽样的方法生成线性序列我们还为Levy和Goldberg(2014)提出的矩阵分解方法提供了一个新的
A Comprehensive Survey on Graph Neural Networks论文阅读笔记
风行
09-04 1691
A Comprehensive Survey on Graph Neural Networks细节点摘要介绍部分将机器学习应用到Graph领域的问题2D卷积和Graph卷积相似之处和区别文章的贡献之处文章框架GNNs背景GNNs和network embeddingGNNs和graph kernel methodsGNNs 符号notationsSpatial-Temporal Graph定义GNNs分类框架网络结构划分RecGNNs：学习节点表示ConvGNNs：将网格数据的卷积推广到GraphGraph
【论文下饭】Temporal Graph Network for Deep Learning on Dynamic Graphs
LittleSeedling的博客
04-27 5539
文章目录1 介绍2 背景3 Temporal Graph Network3.1 核心模块MemoryMessage Function(msg)Message Aggregator(agg)Memory Updater(mem)Embedding(emb)3.2 训练4 相关工作5 实验5.1 性能表现（实验结果）5.2 模块选择MemoryEmbedding MoudleMessage AggregatorNumber of layers6 结论 综述 Representation Learning for
《Elevating Fake News Detection Through Deep Neural Networks, Encoding Fused Multi-Modal Features》
最新发布
buyaotutou的博客
07-24 1303
翻译：文本内容是最初的传统方法检测假新闻的主要焦点，这些方法已经取得了指定的结果。然而，随着社交媒体平台的指数增长，视觉内容已经发生了重大转变。因此，传统的检测方法已经不足以完全检测假新闻。提出了一种基于多模态特征的虚假新闻检测模型。该模型包括特征提取、特征融合、降维和分类等主要过程。为了提取各种文本特征，使用了预训练的BERT，门控递归单元（GRU）和卷积神经网络（CNN）。对于图像特征的提取，使用ResNet-CBAM，其次是多种类型的特征的融合。
Relational inductive biases, deep learning, and graph networks 论文导读，DeepMind图网络
manquyuan0078的博客
12-10 1393
Relational inductive biases, deep learning, and graph networks 论文导读 标题：《关系归纳偏好、深度学习和图网络》   一、推荐理由 简述：DeepMind联合谷歌大脑、MIT等机构的27位作者发表重磅论文，提出“图网络”（Graph network, GN）。     DeepMind作为行业标杆，其动向一直是AI业界的...
【论文阅读】Deep Neural Networks for Learning Graph Representations | day14，15
qq_41821608的博客
02-01 764
《Deep Neural Networks for Learning Graph Representations》- (AAAI-16)-2016 文章目录一、模型1.1解决了两个问题1.2优点二、背景知识2.1DeepWalk中的未加权图随机采样法2.2 两种从线性结构数据中学习词语表示的线性方法2.2.1Skip-gram with Negative Sampling带负抽样的跳跃图2.2.2 PMI matrix 结合 SVD 使用2.2.3深度神经网络三、DNGR模型3.1随机冲浪模型3.2优点  
图表示深度学习综述（Deep Learning for Learning Graph Representations）【清华大学朱文武老师】.zip
01-04
近年来，随着网络数据量的不断增加，挖掘图形数据已成为计算机科学领域的热门研究课题，在学术界和工业界都得到了广泛的研究。但是，大量的网络数据为有效分析带来了巨大的挑战。因此激发了图表示的出现，该图表示将图映射到低维向量空间中，同时保持原始图结构并支持图推理。图的有效表示的研究具有深远的理论意义和重要的现实意义，本教程将介绍图表示/网络嵌入的一些基本思想以及一些代表性模型。
Deep learning I - IV Deep Neural Network - why deep representations?为什么“深度”对神经网络这么重要？
dqhl1990的博客
06-15 538
Why deep representations? 为啥深度能这么有理？ 如图一，通过一层一层的layers，deep learning能够通过初步的细节，一步一步提升其对数据的理解和表达 如图二，一组数据的逻辑关系，在使用多层layers表达时所需要少量的Neuron，但是要在一层中表达是，需要的Neuron就会指数似的增加 ...
论文笔记 - 图表示学习综述
Pumpkin_DAYTOY
05-26 1754
文献题目：Deep Learning for Learning Graph Representations 文献来源：清华大学 朱文武 文献原文：https://arxiv.org/abs/2001.00293v1 Abstract 图表示学习将拓扑图映射到低维向量空间，同时保持原始图结构并支持图推理。 本文中，将介绍一些图表示的基本思想及代表性模型。 Introduction 对于图表示学习的文献有两个名称：图表示和网络嵌入，其实图（Graph）和网络（Network）均指相同类型的结构，本文中对此不.
ICML2020|Channel Equilibrium Network for Learning Deep Representation
Freedom_sky_的博客
08-05 359
论文地址：https://arxiv.org/pdf/2003.00214.pdf 代码地址：Tangshitao/CENet 一、动机——解决 inhibited channels The lottery hypothesis (Frankle & Carbin, 2018) 认为：若CNN模型的参数太多，网络的feature map中将存在很多不重要的 (inhibited) 通道——其特征值 extremely small. 作者以 batch normalization 算法为例： (1.
GTN-Graph Transformer Network 图变换网络 NeurIPS2019
u013602059的专栏
03-18 7879
来源：NeurIPS 2019 论文链接 代码链接 摘要 图神经网络（GNNs）在图表示学习中得到了广泛的应用，实现了节点分类和连接预测等任务的最佳性能。然而，大多数现有的GNNs都被设计为在固定（fix）和同质（homogeneous）的图上学习节点表示。当在不确定的图或由各种类型的节点和边组成的异构（heterogeneous）图上学习表示时，这些限制尤其成问题。本文提出了能够生成新的图结构...
图神经网络之图嵌入笔记学习
qq_42524215的博客
08-30 1891
图嵌入综述 图分析任务的分类：（a)节点分类（b)链接预测（c)聚类（d)可视化 真实的图（网络）往往是高维、难以处理的，嵌入的思想是在向量空间中保持连接的节点彼此靠近 图嵌入的目的是发现高维图的低维向量表示 图嵌入的方法 （1）基于因子分解的方法； （2）基于随机游走的方法； （3）基于深度学习的方法。 预备知识 一阶近似：边缘近似的权值也称为节点vi和vj之间的一阶近似值，因为他们是两个节点之间第一也是最重要的相似性度量。 二阶近似：一对节点之间的二阶近似描述了该对节点领域结构的相似性。 在上图中因
Deep learning in graph clustering 论文两篇
DawnRanger的专栏
08-16 4917
1. Learning Deep Representations for Graph Clustering论文信息：Tian, Fei, et al. “Learning Deep Representations for Graph Clustering.” AAAI. 2014.来自微软亚洲研究院，这是最早将深度学习应用于图聚类问题(graph clustering)的文章。论文的思路非常简单，首
论文笔记之Learning Deep Representations for Graph Clustering
BVL的博客
01-09 4179
本篇论文是2014年AAAI的一篇论文。思想也比较简单，主要是采用SAE（栈式自编码），在graph上进行node embedding，将embedding得到的每个node的vector做为输入，进行graph cluster。论文中采用的是最常用的k-means方法来cluster。算法如下： step1 得到graph的n*n的邻接矩阵S和度矩阵Dstep2 将D’S作为SAE的输入
深度学习代码集：Python实现《Neural Networks and Deep Learning》
本知识点聚焦于所提及的《Neural Networks and Deep Learning》书籍。这本书被广泛认为是深度学习领域的入门经典，深入浅出地讲解了深度神经网络的原理、技术及应用。书中可能涵盖了前馈神经网络、卷积神经网络、...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值