静静喜欢大白
专注于GNN在交叉领域前沿技术学习与分享、中科院博士一枚、喜欢运动、美食和乐高
展开
-
百度7天GNN学习-入门思维导图理解+实战
目录框架基础线性回归房价预测GCN节点分类参考框架基础'''基础命令 常量加法:张量常量的1+1,并不能随意修改常量的值 1)导入PaddlePaddle库 2)定义张量以及相关张量之间的操作,如求和 3)创建一个使用CPU/GPU的解释器,用于后面的计算 参数初始化exe.run(fluid.default_startup_program()) 4)执行计算 .原创 2021-01-07 11:44:42 · 446 阅读 · 1 评论 -
百度7天GNN学习-作业答案
目录作业1运行GCN运行deepwalk并用于链接预测作业21. DeepWalk采样算法2. SkipGram模型训练3. Node2Vec采样算法作业31. GCN模型2. GAT模型完成Single-Head GAT的消息传递机制作业41. 代码框架梳理2. GraphSage采样函数实现3. GraphSage聚合函数实现3.1 Mean Aggregator示例代码3.2 MaxPool Aggregator实现论文节点比赛原创 2021-01-20 12:01:19 · 315 阅读 · 0 评论 -
PGL2.0版本运行相关问题
1、问题AssertionError: In PaddlePaddle 2.x, we turn on dynamic graph mode by default, and 'data()' is only supported in static graph mode. So if you want to use this api, please call 'paddle.enable_static()' before this api to enter static graph mode.原创 2021-01-20 10:50:13 · 2186 阅读 · 3 评论 -
softmax+log_softmax理解与使用(为什么可以常用在分类交叉损失熵)
转载1)softmaxsoftmax是一种指数归一化函数。输入为向量,输出为值为0-1之间的向量,和为1。在分类任务中作为概率出现在交叉熵损失函数中。import numpy as npdata=np.array([0.1, 0.3, 0.6, 2.1 ,0.55])np.exp(data)/np.sum(np.exp(data)) # softmaxarray([0.07795756, 0.09521758, 0.12853029, 0.57603278,原创 2021-01-19 11:14:11 · 993 阅读 · 0 评论 -
百度PGL-动态图模式(命令式编程)
转载目录命令式编程使用教程为什么命令式编程模式越来越流行?1. 开启命令式编程模式2. 使用命令式编程进行模型训练2.1 定义数据读取器2.2 定义模型和优化器2.3 训练2.4 评估测试2.5 模型参数的保存和加载3. 多卡训练4. 模型部署5. 使用技巧5.1 中间变量值、梯度打印5.2 断点调试5.3 使用声明式编程模式运行5.4 阻断反向传递命令式编程使用教程从编程范式上说,飞桨兼容支持声明式编程和命令式编程,通俗地讲即静态转载 2021-01-18 10:53:10 · 1939 阅读 · 0 评论 -
百度PGL-word2vec
转载目录词向量说明背景介绍效果展示模型概览语言模型N-gram neural modelContinuous Bag-of-Words model(CBOW)Skip-gram model数据准备数据介绍数据预处理编程实现模型应用预测下一个词总结参考文献词向量本教程源代码目录在book/word2vec,初次使用请您参考Book文档使用说明。说明 本教程可支持在 CPU/GPU 环境下运行 Docker镜原创 2021-01-18 10:23:34 · 379 阅读 · 0 评论 -
百度7天GNN学习-进阶学习
目录大纲进阶GNN1. 自己动手实现图神经网络2. One More Thing新冠项目实战(待续)大纲进阶GNN1. 自己动手实现图神经网络这里以想自己实现一个CustomGCN为例子首先,我们在model.py 创建一个类CustomGCNimport paddle.fluid.layers as Lclass CustomGCN(object): """实现自己的CustomGCN""" def __init__(self, con原创 2021-01-17 22:14:14 · 194 阅读 · 0 评论 -
百度7天GNN学习-课件5学习(带文本信息的图+Masked标签传播)
目录大纲第五课动机ERNIESage(带有本文信息的图)ERNIESage Node(提取特征,GraphSage聚合)ERNIESage Edge(提取特征,GraphSage聚合)ERNIESage 1-Neighbor(对一阶邻居提取特征、拼接并聚合)ERNIESage落地UniMP(标签迁移)效果(OGB打榜神器)动机举例Masked Label Prediction模型结构效果大纲第五课动机【节点与边存在.原创 2021-01-17 22:09:42 · 218 阅读 · 0 评论 -
百度7天GNN学习-课件4学习(图采样:GraphSage)
目录大纲第四课(GraphSage)总结图采样由来GNN和CNN的batch训练区别图采样定义(子图采样)图采样技术-GraphSage(采样+泛化)采样过程(内-外)聚合过程(外-内)优点【泛化+计算量小】QA图采样技术-PinSage(快速多阶信息)计算(假设模型只有1层)优点邻居聚合技术(采样之后的操作)聚合函数3种聚合方式能力评估sum聚合优点(单射)GIN(图分类:sum+自连边带权)NLP语义场景邻居聚合(Tex原创 2021-01-17 22:07:17 · 233 阅读 · 0 评论 -
百度7天GNN学习-课件3学习(MPNN:GCN+GAT)
目录大纲第三课总结GNN兴起(发展)GNN目的GNN训练方式GNN与CNN区别问题问题1-如何从图像卷积到图结构卷积公式简化以及物理意义(消息接收+聚合)问题2-怎用消息传递方式实现GCN度矩阵的引入?问题3-怎么用多层图网络完成节点分类任务GCN(度计算)框架核心PGL代码实现GAT(注意力)框架由来边值函数PGL实现多头注意力MPNN通用框架通用公式流程QA大纲第三课总结.原创 2021-01-17 22:05:28 · 422 阅读 · 0 评论 -
百度7天GNN学习-课件2学习(游走算法)
目录大纲第二课总结图表示由来负采样由来Word2VecDeepWalk(随机游走DFS)node2vec(有偏游走DFS+BFS+考虑边权值)metapath2vec异构图由来异构图定义基于远路径游走元路径游走metapath2vec++(考虑节点类型来负采样)变种大纲第二课总结图表示由来词的语义由其上下文决定负采样由来计算量大,需要计算所有词表内的词概率-softmax;选一些正样本(想预测的.原创 2021-01-17 22:03:02 · 296 阅读 · 1 评论 -
百度7天GNN学习-课件1(图基础知识)
目录大纲第一课图学习应用图学习分类算法PGL框架易用性高效性大规模丰富性落地业务自研项目Lesson1课程学习内容图概念补充图分类图的度和邻居(重点有向图)图表示(重点邻接表)图特征大纲第一课图学习应用图学习分类算法PGL框架易用性高效性大规模丰富性落地业务自研项目Lesson1课程学习内容图概念补充特征有:节点特征,边特征,结构特征原创 2021-01-17 22:00:29 · 231 阅读 · 0 评论 -
百度7天GNN学习-课件学习
第一课图学习应用图学习分类算法PGL框架易用性高效性大规模丰富性落地业务自研项目Lesson1课程学习内容图概念补充特征有:节点特征,边特征,结构特征图分类图的度和邻居(重点有向图)边数根据方向;后继者是出度指向的点;邻接矩阵的表示也是根据方向为1/0;边集表示也是根据方向图表示(重点邻接表)邻接表:针对稀疏大图使用图特征第二课总结图表示由来词的语义原创 2021-01-14 19:29:57 · 297 阅读 · 0 评论 -
PGL优秀心得参考
重点参考,参考2tips图基础0-图属性信息①图具有以下基本的属性: 1. 节点--vertex (也译:顶点) (平时描述可以用时node:节点,但代码中和公式中常出现v作为标识) 2. 边--edge②此外,还包括节点与边各自的特征向量--即各自的特征信息: 1. 节点特征向量——node_feature 【通常由节点具有的特征构成,并且多个节点对应的特征向量组成当前网络的节点特征矩阵——shape:(node_num, per_node_feature原创 2021-01-13 16:52:41 · 414 阅读 · 1 评论 -
百度7天GNN学习-异构图实战
目录1、分析2、代码3、输出1、分析什么是异构图?简单来说就是:存在许多包含多种类型的节点和边的图! 如下:(电子商务网络——就至少包含两种类型的节点(用户和项目)和两种类型的边线(购买和单击))(来源pgl1.2.1官网)【源于pgl1.2.1文档,主要是对代码的学习,注解!】2、代码'''步骤1)创建图结构的基本节点、边的信息2)设置节点特征与边特征3)构建异构图与异构容器(容器多了边类型)4)构建消息机制5)测试消息机制--并通过两个..原创 2021-01-13 16:44:44 · 1840 阅读 · 1 评论 -
百度7天GNN学习-实战3核心代码理解(GraphSage采样)
1分析GraphSage采样函数实现GraphSage的作者提出了采样算法来使得模型能够以Mini-batch的方式进行训练,算法伪代码见论文附录A。假设我们要利用中心节点的k阶邻居信息,则在聚合的时候,需要从第k阶邻居传递信息到k-1阶邻居,并依次传递到中心节点。 采样的过程刚好与此相反,在构造第t轮训练的Mini-batch时,我们从中心节点出发,在前序节点集合中采样NtN_tNt个邻居节点加入采样集合。 接着将邻居节点作为新的中心节点继续进行第t-1轮训练的节点采样,以此类推。 最原创 2021-01-13 15:05:15 · 487 阅读 · 0 评论 -
百度7天GNN学习-实战2理解(MPNN中send和recv白话理解)
核心代码!!!基于消息传递的模型有GCN 算法、GAT 算法、里面的核心就是Message Passing 消息传递机制。'''GCN参数补充解释 给出一个简化版本的 GCN 模型,帮助大家理解PGL框架实现消息传递的流程。'''##############################1################################''''''import paddle.fluid.layers as Ldef gcn_layer(gw, fe原创 2021-01-13 14:08:02 · 375 阅读 · 1 评论 -
百度7天GNN学习-实战2(生成单条 DeepWalk 游走序列)
1分析内容概览Deepwalk 采样从今天的课堂上,我们知道, 对于给定的节点,DeepWalk会等概率的选取下一个相邻节点加入路径,直至达到最大路径长度,或者没有下一个节点可选。2代码'''生成单条 DeepWalk 游走序列步骤1)构建graph(没有添加节点特征) 节点数 边list是元组形式2)nx绘制图 添加节点、边、位置、画图、可视化3)Deepwalk 采样4)5)6)'''import numpy as npim原创 2021-01-13 13:51:52 · 269 阅读 · 0 评论 -
百度7天GNN学习-实战1(基于空手道俱乐部的两层GCN节点分类问题)
1基础图学习初印象Part1 什么是图图的两个基本元素:点、边 图是一种统一描述复杂事物的语言 常见的图:社交网络、推荐系统、化学分子结构...Part2 什么是图学习图学习: Graph Learning。深度学习中的一个子领域,强调处理的数据对象为图。 与一般深度学习的区别:能够方便地处理不规则数据(树、图),同时也可以处理规则数据(如图像)。Part3 图学习的应用我们可以把图学习的应用分为节点级别任务、边级别任务、图级别任务。 课程中介绍了以下几种任务。节点级别任务原创 2021-01-13 13:18:14 · 1095 阅读 · 3 评论 -
百度7天GNN学习-图与图学习下
转载aistudio.baidu.com/aistudio/projectdetail/1436570在中篇中,我们了解了图机器学习(GML:Graph Machine Learning)。下面,终于到了这个前置教程的重头戏,图神经网络(Graph Neural Networks)。 我们通过结合论文A Comprehensive Survey on Graph Neural Networks来学习现在图神经网络的发展现状。本案例将包含以下内容:一、 什么是图神经网络二、 有哪些图神经网络.原创 2021-01-12 17:34:53 · 401 阅读 · 0 评论 -
Graph2Vec运行
源码1环境搭建环境要求The codebase is implemented in Python 3.5.2 | Anaconda 4.2.0 (64-bit). Package versions used for development are just below.jsonschema 2.6.0tqdm 4.28.1numpy 1.15.4pandas 0.23.4texttable原创 2021-01-13 11:53:01 · 1601 阅读 · 0 评论 -
百度7天GNN学习-图与图学习中
1链接预测分析图学习的主要任务图学习中包含三种主要的任务:链接预测(Link prediction) 节点标记预测(Node labeling) 图嵌入(Graph Embedding)链接预测(Link prediction)在链接预测中,给定图G,我们的目标是预测新边。例如,当图未被完全观察时,或者当新客户加入平台(例如,新的LinkedIn用户)时,预测未来关系或缺失边是很有用的。知乎回答:如何理解链接预测(link prediction)新LinkedIn用户的链.原创 2021-01-12 20:29:29 · 285 阅读 · 0 评论 -
百度7天GNN学习-图与图学习上
1基本概念图是什么?首先我们导入需要的包import numpy as npimport randomimport networkx as nxfrom IPython.display import Imageimport matplotlib.pyplot as plt图的定义图表示物件与物件之间的关系的数学对象,是图论的基本研究对象。举个例子,一个简单的图可能是这样:节点(node)用红色标出,通过黑色的边(edge)连接。图可用于表示:社交网络.原创 2021-01-12 16:07:18 · 289 阅读 · 0 评论 -
百度7天GNN学习-入门参考(待学习)
参考https://maelfabien.github.io/machinelearning/graph_5/https://maelfabien.github.io/machinelearning/graph_4/#i-link-predictionhttps://towardsdatascience.com/learning-in-graphs-with-python-part-3-8d5513eef62d图学习1图学习2python学习图...原创 2021-01-07 16:03:22 · 276 阅读 · 0 评论 -
百度7天GNN学习-环境搭建
win10环境搭建#添加源pip config set global.index-url https://mirrors.aliyun.com/pypi/simple#创建环境+安装库conda create -n pgl python=3.6conda activate pglpip install pgl#下载代码f:cd F:\codegit clone https://github.com/PaddlePaddle/PGL.git【发现有了代码】【运行】原创 2021-01-06 14:37:36 · 675 阅读 · 0 评论