- 博客(79)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 使用DGL编写GNN模块
使用DGL编写GNN模块有时我们构建的模型不仅仅是简单地堆叠现有的GNN模块，而是需要构建满足自己任务需求的GNN模块。如：我们想发明一种通过考虑节点重要性或边权重来聚合邻居信息的新方法。通过本文我们可以：理解 DGL信息传递API(DGL’s message passing APIs)自己实现GraphSAGE卷积模块阅读本文我们需要先学习the basics of training a GNN for node classification或者使用DGL完成节点分类任务。GNN和消息传递
2021-05-06 21:21:43
1526
26
原创 使用DGL完成节点分类任务
节点分类任务概述节点分类(node classification)任务是在图数据处理中最流行任务之一，一个模型需要预测每个节点属于哪个类别。在图神经网络出现之前，用于结点分类任务的方法可归为两大类：仅使用连通性（如DeepWalk或node2vec）简单地结合连通性和节点自身的特征相比之下，GNNs是一个通过结合局部邻域（广义上的邻居，包含结点自身）的连通性及其特征来获得节点表征的方法。Kipf等人将节点分类问题描述为一个半监督的节点分类任务。图神经网络只需要一小部分已标记的节点，即可准确地
2021-05-05 21:11:11
3075
53
原创 关于差分隐私的一些基本概念的整理
引言在过去的二十年中，公司，组织和政府所收集的数字信息形成了大量的数据集，并且这种数据收集的速度在最近几年中得到了极大的提高。 通常，数据收集者负责发布数据用以进行进一步分析。 然而，大部分收集的数据集都包含隐私或者敏感的信息。 即使数据收集者可以应用几种简单的匿名化技术，敏感的个人信息仍然很有可能被公开。 因此，隐私保护已成为迫切需要解决的问题。研究人员提出了各种保护个人隐私的方法,并将这些方法及其隐私标准定义为一个隐私模型。如图1所示，隐私模型位于受信任的数据收集者（Curator）和不受信任的公众
2020-11-22 20:51:17
6527
1
原创 搭建CTF-AWD训练平台
下载git clone https://github.com/zhl2008/awd-platform项目大小是429.03M，下载了整整一个小时项目说明AWD线下环境启动说明by Hence Zhang @Lancet比赛的环境介绍：服务器全部以docker形式部署在同一台虚拟机上。Check_server:服务检查服务器，用于判定选手维护的服务是否可用，如果不可用，则...
2019-05-21 13:07:39
59555
60
原创 CTF中SQL注入常见题型整理
前言正文无过滤带回显的情况可能使用到的工具：firefox、hackbar for firfox、sqlmap for linux手工注入bugku的环境在这一环境中的主要是通过post方式传入一个参数id来查询数据库内容。首先判断sql语句闭合方式当在id的值后面加上'时，界面无回显，可以判断后端的sql语句应该是select xxxx from xxxx where...
2018-10-10 22:40:05
114610
6
原创 sql注入绕过方法总结
前言sql注入的原因，表面上说是因为拼接字符串，构成sql语句，没有使用 sql语句预编译，绑定变量；但是更深层次的原因是，数据库将用户输入的字符串，当成了 “sql语句” 来执行。简而言之：用户输入的数据变成了代码被执行 string sql = "select id,no from user where id=" + id;我们希望用户输入的 id 的值，仅仅作为一个字符...
2018-10-10 12:43:19
45798
16
原创 CTF中RSA常用攻击方法真题及脚本汇总
前言具体的思路在上一篇博文中，这一篇主要整理题型和相应脚本。思路上一篇博文地址代码不精，部分参考其他道友的代码。慢慢更新。可能会遇见的问题如果缺少某些模块，例如gmpy2，请自行百度或者goolge下载办法。linux可以参考这篇博文。代码中的gmpy模块的gmpy.root与gmpy2.iroot基本可以互换。部分代码只能在python2.x环境中运行，因为某些模块没有相应的py...
2018-10-08 22:35:34
19305
1
原创 CTF密码学中RSA学习以及总结
关于CTF中RSA学习笔记RSA简介为了方便理解，先对RSA密钥体制做个简略的介绍。选择两个大的参数，计算出模数 N = p * q计算欧拉函数 φ = (p-1) * (q-1)，然后选择一个e(1<e<φ)，并且e和φ互质（互质：公约数只有1的两个整数）取e的模反数d，计算方法为:e * d ≡ 1 (mod φ) （模反元素：如果两个正整数e和n互质，那么一定可以...
2018-10-05 13:35:45
55933
10
原创 Node-wise Localization of Graph Neural Networks（IJCAI 2021）论文笔记
基本信息:::infoURL：论文链接论文代码更多图神经网络和深度学习内容请移步：Abstract:::tipsGraph neural networks (GNNs) emerge as a powerful family of representation learning models on graphs. To derive node representations, they utilize a global model that recursively aggregates inf
2022-03-17 20:44:32
1063
原创 TransNet: Translation-Based Network Representation Learning for Social Relation Extraction 笔记
更多图神经网络和深度学习内容请移步：基本信息论文链接论文代码Abstract:::tipsConventional network representation learning (NRL) models learn low-dimensional vertex representations by simply regarding each edge as a binary or continuous value. However, there exists rich semantic in
2022-03-15 17:15:57
2077
原创 Translating Embeddings for Modeling Multi-relational Data 笔记（基于Translation提出了TransE）
更多图神经网络和深度学习内容请移步：论文：Translating Embeddings for Modeling Multi-relational Data论文链接：https://proceedings.neurips.cc/paper/2013/file/1cecc7a77928ca8133fa24680a88d2f9-Paper.pdf摘要We consider the problem of embedding entities and relationships of multi-rela
2022-03-14 23:02:35
1791
原创 [图神经网络前沿课题]位置感知、身份感知、鲁棒性
图神经网络课程和PPT主页GNN的局限性论文《How Powerful are Graph Neural Networks?》指出一个最具表达能力的GNN应该具备以下特征：换句话说，就是最具表达能力的GNN应该使得具有相同领域结构的节点拥有相同的节点嵌入，具有不同领域结构的节点一定拥有不同的节点嵌入。需要注意的是，这里都基于一个前提假设：节点没有可区分性的特征，也就是说节点可能没有特征、节点有相同的特征或者节点有高度相似的特征。现有大部分的GNN大都不能保证上述两点要求，故可以说明现有GNN表
2021-08-23 23:13:06
1368
8
原创 CS224W图机器学习笔记14-图生成模型
图神经网络课程和PPT主页我们现在大部分的工作都是建立一个条件之上-图神经网络的输入输入数据（图）是已知的。假设图是未知的，那么我们应该怎么生成图呢？答案是：使用图生成模型（graph generative model）生成任务所需要的图。不单是图未知的情况需要使用到图生成，还有以下几个原因：学习图生成可以分为以下三步：Properties of Real-world Graphs真实图（相对于随机图）主要有以下几个重要属性：度分布（Degree distribution） P(k
2021-08-20 21:08:54
1878
原创 CS224W图机器学习笔记13-Community Detection
图神经网络课程和PPT主页大量的社会科学和心理学研究表明，现实世界中的图都呈现如下图所示的-Community内部的边相对密集、Community 之间的边比较稀疏-规律。以电话网络为例（使用线条粗细和大小对应的两个个体通话次数作为边、个体作为节点），验证了现实世界中的图确实存在上述规律。而我们将边的权重随机打乱之后得到一个同结构随机图，此时就没有上述的规律。言而简之，现实世界的图呈现出下图所示的结构。Network CommunitiesNetwork Communities还有其他
2021-08-18 16:49:46
441
原创 CS224W图机器学习笔记12-motif和子图
图神经网络课程和PPT主页Subgraphs and Motifs子图（Subgraphs）是图的一部分，可理解子图为积木（building blocks），由子图构建出整个图。在很多领域，很多重复出现的的子图决定了整图的功能。下面给出一个生物网络中的例子，若图中出现Carboxyl这个子图结构，那么整个蛋白质将会有酸味这个性质。有两种方式可以形式化的定义子图：Node-induced subgraph，Edge-induced subgraph(不常使用)。在不同的领域和不同的场景下使用不
2021-08-14 21:32:36
2501
转载 [GNN 教程]GCN
更多图神经网络和深度学习内容请关注：引言这是我们介绍图神经网络的第一篇文章，取自Kipf et al. 2017，文章中提出的模型叫Graph Convolutional Network(GCN)，个人认为可以看作是图神经网络的“开山之作”，因为GCN利用了近似的技巧推导出了一个简单而高效的模型，使得图像处理中的卷积操作能够简单得被用到图结构数据处理中来，后面各种图神经网络层出不穷，或多或少都受到这篇文章的启发。问题定义考虑图（例如引文网络）中节点（例如文档）的分类问题，假设该图中只有一小部分节点
2021-08-14 12:36:27
597
1
原创 CS224W图机器学习笔记9-How powerful are graph GNNs?
图神经网络课程和PPT主页今天主要学习论文《How powerful are graph GNNs?》，这篇论文的主要贡献是提出现有GNN的表达能力上限是WL图同构检测。How Expressive are Graph Neural Networks?现在已经提出GNN模型，例如GCN、GAT、GraphSAGE等，现在主要存在两个问题：下面学习现有GNN无法识别的图结构，用以分析现有GNN模型的缺陷。我们在图中使用不同的颜色代表不同的节点特征，我们考虑一种极端的情况，即节点特征都相同，这意味着
2021-08-12 11:19:22
539
1
原创 CS224W图机器学习笔记8-图神经网络三大应用
图神经网络课程和PPT主页Prediction with GNNs目前我们只学习了从输入图->节点嵌入，也就是学习图神经网络怎么获取节点嵌入，并没有学习针对特定下游任务的一些内容（从节点嵌入到实际预测）。首先先学习Prediction head，Prediction head也就是模型的最终输出。Prediction head主要分为三大类，这个GNN三大下游任务是一一对应的。下面介绍Prediction head三大分类：Node-level prediction、Edge-lev
2021-08-07 17:13:06
1760
1
原创 CS224W图机器学习笔记7-图神经网络设计模式
图神经网络课程和PPT主页图神经网络框架首先我们先关注于怎么设计和定义每一层GNN层，一般的GNN层都可抽象为两部分：Message+Aggregation，不同的GNN只有这两部分的实现不同。而在层间关系上，不同的GNN在GNN层堆叠方式可能也存在不同，比如可能会加入类似残差连接的思想。在图级上，后面还会介绍图结构增强，图特征增强的技术。在图神经网络学习目标上，可分为监督学习、半监督学习和无监督学习；或者可分为节点级、边级和整图级目标。GNN层级框架一般的GNN层都可抽象为两部分：
2021-08-04 23:05:05
1090
2
原创 CS224W图机器学习笔记6-图神经网络
图神经网络课程和PPT主页在介绍图神经网络之前，简单的介绍一下图（Graph）。在节点没有特征的情况下，常设置节点特征维全1向量，或者指示向量。下面给出一个十分Naive的使用图数据训练深度神经网络的方案：将邻接矩阵和节点特征进行拼接组成一个新的数据，然后将其用以训练神经网络（非图神经网络，如常见的MLP，CNN等），这种方法缺点主要有三个：难以训练；扩展性差；对节点顺序敏感。图卷积网络GCN一个更聪明的做法是：将CNN卷积神经网络扩展成图卷积神经网络GCN。该方案存在很多挑战，其中一个就
2021-08-01 11:18:59
666
原创 CS224W图机器学习笔记5-消息传递与节点分类
消息传递与节点分类课程和PPT主页本文主要解决的问题：给定一个只有部分已知标签节点的图，如何给图中其他节点分配正确的标签？本文主要讨论一个名为“message passing”的框架以及三个具体的方法：Relational classificationIterative classificationBelief propagation直觉上，相关性(Correlations)总是存在图中：边总是存在相似的节点之间核心概念是collective classification: 将标签同
2021-07-30 22:36:46
675
2
原创 CS224W图机器学习笔记3-节点嵌入
节点嵌入课程和PPT主页图表示学习图表示学习(Graph Representation Learning)使得图机器学习摆脱了传统图机器学习对特征工程的依赖。图表示学习的目标是为图机器学习高效地学习出独立于特定下游任务的特征表示（节点嵌入），这个过程很像降维。图表示学习的任务是将节点映射到嵌入空间，当然不可随意的映射，主要有以下的要求：在图中相似的节点在特征空间（嵌入空间）中的嵌入仍然相似，何为相似的节点？比如存在边相连的两个节点；节点嵌入应包含图结构信息、节点本身信息；这些嵌入可能被
2021-07-26 19:42:25
2414
18
原创 CS224W图机器学习笔记2-图机器学习的传统方法
图机器学习的传统方法课程和PPT主页传统图机器学习流程传统图机器学习流程可分为以下四步：第一步是根据不同的下游任务为节点/链接/图的人工设计特征（hand-designed features）第二步是将我们设计特征构建为训练数据集第三步是使用训练数据集训练一个机器学习模型，常见的有随机森林，SVM和神经网络等第四步是使用训练好的的模型完成新样本的预测任务从上面的步骤中我们可以发现，在传统图机器学习中模型性能好坏很大程度上取决于人工设计的图数据特征（hand-designed featu
2021-07-24 22:13:56
1722
10
原创 图相关的一些基础概念
介数介数通常分为边介数和节点介数两种.节点介数定义为网络中所有最短路径中经过该节点的路径的数目占最短路径总数的比例.边介数定义为网络中所有最短路径中经过该边的路径的数目占最短路径总数的比例.所以首先应求出各点到各点的最短路径，可用迪杰斯特拉算法，然后算出经过某一节点有几条路径，之后求出节点介数。一般来说，节点介数相对于边介数好算一些。 介数反映了相应的节点或者边在整个网络中的作用和影响力，是一个重要的全局几何量，具有很强的现实意义。例如，在社会关系网或技术网络中，介数的分布特征反映了不同人员、资源和技术在
2021-06-22 10:29:53
2767
114
原创 CS224W图机器学习笔记1-图机器学习基础知识
图机器学习基础知识课程和PPT主页图的基本概念图（Graphs）是一种用于描述和分析具有关系或相互作用的实体的通用语言。现实生活中存在很多种类型的图，例如：广义的图主要可以分为两种：网络，Networks(也称为自然图，Natural Graphs)：社交网络（Social networks）：社会是一个由70亿+个人组成的集合交流和交易网络（Communication and transactions）生物医学（Biomedicine）大脑连接网络（Brain connec
2021-06-19 20:46:08
1900
159
转载 从图(Graph)到图卷积(Graph Convolution)：漫谈图神经网络模型 (三)
本文属于图神经网络的系列文章，文章目录如下：从图(Graph)到图卷积(Graph Convolution)：漫谈图神经网络模型 (一)从图(Graph)到图卷积(Graph Convolution)：漫谈图神经网络模型 (二)从图(Graph)到图卷积(Graph Convolution)：漫谈图神经网络模型 (三)恭喜你看到了本系列的第三篇！前面两篇博客分别介绍了基于循环的图神经网络和基于卷积的图神经网络，那么在本篇中，我们则主要关注在得到了各个结点的表示后，如何生成整个图的表示。其实之前我们也
2021-05-31 19:59:35
2355
99
转载 从图(Graph)到图卷积(Graph Convolution)：漫谈图神经网络模型 (二)
从图(Graph)到图卷积(Graph Convolution)：漫谈图神经网络模型 (一)从图(Graph)到图卷积(Graph Convolution)：漫谈图神经网络模型 (二)从图(Graph)到图卷积(Graph Convolution)：漫谈图神经网络模型 (三)在上文中，我们简单介绍了基于循环图神经网络的两种重要模型，在本篇中，我们将着大量笔墨介绍图卷积神经网络中的卷积操作。接下来，我们将首先介绍一下图卷积神经网络的大概框架，借此说明它与基于循环的图神经网络的区别。接着，我们将从头开始为
2021-05-29 21:29:58
881
11
转载 从图(Graph)到图卷积(Graph Convolution)：漫谈图神经网络模型 (一)
本文属于图神经网络的系列文章，文章目录如下：从图 (Graph) 到图卷积(Graph Convolution)：漫谈图神经网络模型 (一)从图 (Graph) 到图卷积(Graph Convolution)：漫谈图神经网络模型 (二)从图 (Graph) 到图卷积(Graph Convolution)：漫谈图神经网络模型 (三)笔者最近看了一些图与图卷积神经网络的论文，深感其强大，但一些 Survey 或教程默认了读者对图神经网络背景知识的了解，对未学过信号处理的读者不太友好。同时，很多教程只
2021-05-27 23:20:12
1783
11
原创 [论文笔记] 身份感知图神经网络ID-GNN
文章目录Information摘要引言GNN的缺点研究现状本文方案贡献相关工作超越1-WL测试表达能力的图神经网络带归纳着色的图神经网络anisotropic消息传递的GNNs相关定义身份感知图神经网络ID-GNN归纳身份标记(着色)异构消息传递算法复杂性ID-GNNs 表达能力的理论研究ID-GNN比现有的GNNs更具表现能力ID-GNNs可对循环计数ID-GNNs表达能力的案例研究节点级任务：预测聚类系数边级任务:预测可达性或最短路径距离。图级：区分随机d-正则图。Information论文：Ide
2021-05-27 11:04:19
1605
10
原创 DGL中图(Graph)的相关操作
DGL中图(Graph)的相关操作通过文本，你可以学会以下：使用DGL构造一个图。为图指定节点特征和边特征。查询DGL图的相关属性，例如节点度。将DGL图转换为另一个图。使用加载并保存图。使用DGL创建图DGL将有向图（此处假设为同构图）表示为一个DGLGraph对象。我们可以通过指定图中的节点数量（可选）、源节点和目标节点列表来构造图，图中节点id从0开始且为连续的整数。例如，以下代码构造了一个有5个叶子结点的有向星型图（类似五角星），其中中心节点的ID为0。import dgl
2021-05-06 11:30:42
9503
7
转载 图神经网络框架DGL教程-第5章：训练图神经网络
第5章：训练图神经网络本章通过使用 第2章：消息传递范式 中介绍的消息传递方法和 第3章：构建图神经网络（GNN）模块 中介绍的图神经网络模块， 讲解了如何对小规模的图数据进行节点分类、边分类、链接预测和整图分类的图神经网络的训练。本章假设用户的图以及所有的节点和边特征都能存进GPU。对于无法全部载入的情况，请参考用户指南的 第6章：在大图上的随机（批次）训练。后续章节的内容均假设用户已经准备好了图和节点/边的特征数据。如果用户希望使用DGL提供的数据集或其他兼容 DGLDataset 的数据(如 第
2021-05-05 16:07:12
2439
6
转载 图神经网络框架DGL教程-第4章：图数据处理管道
第4章：图数据处理管道DGL在 dgl.data 里实现了很多常用的图数据集。它们遵循了由 dgl.data.DGLDataset 类定义的标准的数据处理管道。 DGL推荐用户将图数据处理为 dgl.data.DGLDataset 的子类。该类为导入、处理和保存图数据提供了简单而干净的解决方案。4.1 DGLDataset类DGLDataset 是处理、导入和保存 dgl.data 中定义的图数据集的基类。 它实现了用于处理图数据的基本模版。下面的流程图展示了这个模版的工作方式。即Check
2021-05-04 16:28:38
2195
1
转载 图神经网络框架DGL教程-第3章：构建图神经网络（GNN）模块
第3章：构建图神经网络（GNN）模块DGL NN模块是用户构建GNN模型的基本模块。根据DGL所使用的后端深度神经网络框架， DGL NN模块的父类取决于后端所使用的深度神经网络框架。对于PyTorch后端， 它应该继承 PyTorch的NN模块；对于MXNet后端，它应该继承 MXNet Gluon的NN块； 对于TensorFlow后端，它应该继承 Tensorflow的Keras层。 在DGL NN模块中，构造函数中的参数注册和前向传播函数中使用的张量操作与后端框架一样。这种方式使得DGL的代码可以
2021-05-04 14:23:51
1575
转载 图神经网络框架DGL教程-第2章：消息传递范式
第2章：消息传递范式消息传递是实现GNN的一种通用框架和编程范式。它从聚合与更新的角度归纳总结了多种GNN模型的实现。消息传递范式假设节点 vvv 上的的特征为 xv∈Rd1x_v\in\mathbb{R}^{d_1}xv∈Rd1，边 (u,v)(u,v)(u,v) 上的特征为 we∈Rd2w_{e}\in\mathbb{R}^{d_2}we∈Rd2。 消息传递范式 定义了以下逐节点和边上的计算边上计算: me(t+1)=ϕ(xv(t),xu(t),we(t)),(u,v,e)∈E
2021-05-04 14:01:59
2242
3
转载 图神经网络框架DGL教程-第1章：图
第1章：图图表示实体(节点)和它们的关系(边)，其中节点和边可以是有类型的 (例如，"用户" 和 "物品" 是两种不同类型的节点)。 DGL通过其核心数据结构 DGLGraph 提供了一个以图为中心的编程抽象。 DGLGraph 提供了接口以处理图的结构、节点/边 的特征，以及使用这些组件可以执行的计算。1.1 关于图的基本概念图是用以表示实体及其关系的结构，记为 G=(V,E)G=(V,E)G=(V,E) 。图由两个集合组成，一是节点的集合 VVV ，一个是边的集合 EEE 。 在边集 EEE 中，
2021-05-03 16:41:45
1883
2
原创 论文笔记-When Do GNNs Work: 理解和改进邻域聚合
When Do GNNs Work: Understanding and Improving Neighborhood Aggregation (IJCAI-20)
2021-04-15 17:06:25
4756
2
原创 论文笔记-Deeper Insights into Graph Convolutional Networks for Semi-Supervised Learning
论文题目：Deeper Insights into Graph Convolutional Networks for Semi-Supervised Learning(AAAI 2018)论文链接：arxiv摘要GCN在卷积层中很好地聚合了局部结点特征和图拓扑结构信息，但它的机制并不清楚（类似一个黑匣子），它仍然需要大量的标记数据来验证和选择模型。在本文中，我们对GCN模型进行了深入的研究，并指出了它的基本的局限性。首先，我们 ** 证明了GCN模型的图卷积实际上是拉普拉斯平滑的一种特殊形式，这是G
2021-04-13 11:41:14
1878
6
原创 论文笔记-DIRECT MULTI-HOP ATTENTION BASED GRAPH NEURAL NETWORKS
论文标题：DIRECT MULTI-HOP ATTENTION BASED GRAPH NEURAL NETWORKS论文链接：摘要在图神经网络（GNN）中引入自注意力机制（self-attention）可以实现图表示学习的最先进（state-of-the-ar）性能。 然而自注意力机制仅在两个相互连接的节点之间进行计算，且图表示仅取决于两个相互连接节点。自注意力机制缺点为： 这种注意力计算不能考虑提供了图结构上下文信息的多跳邻居（跳数大于等于2的邻居）对节点表示学习的影响。 这篇论文提出了用于图
2021-04-08 12:21:35
2869
3
SqlmapWiki.pdf
2018-09-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人