羊城迷鹿的博客

解锁数据关联的无限可能，掌握知识图谱核心技术与应用。

Foundations and modelling of dynamic networks using Dynamic Graph Neural Networks: A survey本文首先给出了动态网络的定义和分类，然后分别从编码和解码的角度介绍了图神经网络模型如何用于动态图的嵌入表示以及完成链路预测任务动态网络定义动态网络是随时间变化的复杂网络。链接和节点可能出现和消失。一个 动态网络可以表示为一个图G=(V,E)G=(V, E)G=(V,E)，其中V={(v,ts,te)}V=\{(v

Graph WaveNet for Deep Spatial-Temporal Graph Modeling研究问题解决时序预测时如何自动学习出一个图结构的问题，之前组会讲过一篇KDD2020发表的《Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks》也是针对自动学习图结构，感觉借鉴了很多这篇19年论文的思想，在下面也对两篇论文做一些对比。背景动机传统提取空间信息的方法一般是在固定

研究问题自适应捕捉交通流时间序列中的时空依赖问题背景动机当前的大多数深度学习方法基于共享参数模型（不同节点对应同一卷积），由于每条道路的 具体情况不一样，这种方式无法捕捉细粒度的数据模式现存方法要求根据距离或相似度预先定义一个图来捕捉空间相关性，这个图不一定能完善地表示空间依赖模型思想设计节点自适应参数学习(NAPL)模块，分解传统GCN中的参数，根据节点嵌入从所有节点共享的权重池和偏差池生成特定节点参数以捕获节点特定模式设计数据自适应图生成(DAGG)模块，自动推断不同序列之间的相互依

研究问题城市交通流预测问题背景动机传统的使用图神经网络捕获空间依赖的方法一般基于固定的图结构，但由于交通状况瞬息万变，因此图应该也是动态变化的图神经网络只考虑了局部的空间信息，忽略了全局信息，比如说一些功能相似的节点具有类似的特征，但它们在物理上并不相邻现有的方法为了解决过平滑问题一般采取双层架构，但浅层的网络无疑会损失一些信息，论文试图解决聚合深层网络的信息的问题模型思想根据交通状态获取动态图分别定义空间邻居和语义邻居，对应距离较近和语义较为相似的节点提出一种自适应门控机制来选取高

研究问题交通预测，即根据历史交通数据预测路网未来的交通状况背景动机道路网络和交通条件带来复杂的时空依赖性和本质上的不确定性早期交通预测方法主要对单个观察节点或几个节点采用浅层机器学习，难以捕捉交通数据中的非线性及空间依赖卷积神经网络和递归神经网络不擅长处理非欧数据基于图卷积的方法有两个缺点，一个是它们主要通过在固定的加权图中使用GCN来建模空间依赖性，忽略了边的复杂性和交互作用，下图展示了如何对边的相互依赖进行建模另一个缺陷是通常使用给定邻域范围中聚合的信息，忽略多个范围信息。然而，不同

研究问题论文希望能实现多尺度交通预测，这是城市交通控制与引导的前提和基础，也是智能交通系统的主要功能之一。背景动机大多数方法(如线性回归)能够在短时间内进行良好的预测。然而，由于交通流的不确定性和复杂性，这些方法对于长期的预测效果较差。动力学方法可以实现中长期的预测，但它需要使用切合实际的假设，并且会消耗较多的算力基于统计的模型无法引入时空相关性深度学习模型使用CNN和RNN来分别建模时空依赖，但是CNN针对的是网格数据，不适用于路网；RNN会导致训练错误的逐步累积，并且训练困难，耗时较长（这

研究问题基于动态空间依赖的交通流预测问题背景动机传统方法不论是外部输入图结构还是自己学出图结构都假定道路之间的空间依赖关系是固定的，因此它们只计算一次空间依赖关系，并一直使用计算出的依赖关系，而不考虑动态变化的交通条件。通过注意力机制来建模动态空间依赖的模型往往忽略了图上固有的结构信息RNN有不能直接访问长输入序列中的过去的特征的限制，不如attention好模型思想空间注意力模块：使用了作者提出的扩散先验、有向头和基于距离的嵌入，以通过捕捉道路速度变化和图形结构信息来建模空间依赖性时

在每次传播迭代中，每个节点将其标签更新为其邻居节点中最常见的标签。这个过程会不断重复，直到标签达到收敛，即每个节点的标签与其邻居节点的大多数标签相同。通过标签的传播，密集连接的节点组很快就会形成共识，并形成一个社区。在传播结束时，只有少数几个标签会保留下来，大多数标签会消失。算法的核心思想是通过在网络中传播标签来形成社区。PageRank算法考虑节点的入度和出度计算重要性,可以识别影响力较大的节点。上述代码中第二个参数是节点，第三个参数是关系，可以通过字符串或列表的形式根据单个或多个节点和关系建图。

知识图谱文件导出首先停止运行sudo neo4j stop然后导出数据库导出格式为：具体命令如下sudo neo4j-admin database dump --to-path=/home/ neo4j最后重启sudo neo4j start知识图谱外观修改在网页点击节点，选中一个表情后点击，可修改其颜色、大小和显示的属性。

这样跑是能跑，但是速度会非常慢，因为每次都从所有的节点里面找。我们可以观察到，对某种特定的关系，头实体和尾实体都属于某种特定的节点类型，因此可以先把所有这一类型的节点存到一个字典里，再在这个字典里做匹配，这也是目前实现的算法。为了将数据库中字段解析为知识图谱的内容，需要完成以下几部分的功能：一是直接与数据库交互，二是通过NER解析文本描述内容，三是计算时间和地点间的相似度。其实知识图谱的构建常常是节点和边同时构建的，但由于我们的数据量非常大，同时构建逻辑比较复杂，所以采取了先统一建节点，后统一建边的逻辑。

扩展的方式是加入所谓的special tokens，为了让special tokens有明确的语义，还需要加入以下的预训练任务。看到这里我才理解整个KNN算法，给定一个最近邻居k，是在知识库中筛选出k个离给定嵌入表示最近的实体，然后用距离表示它们的概率，并与另一种方式计算出来的概率加权。知识库中以（k,v）对的形式存储实体与嵌入的关系，其中k是基于描述或三元组的嵌入，v是对应实体的名称，论文使用开源的FAISS来执行高维空间的检索算法。从包含语义信息的实体描述和包含结构信息的实体三元组两方面来构建知识库。

这里可能是为了强调要把target entity预测对，损失函数分为两部分，前半部分是target，后面是非target，由于KL散度要处理的是分布，因此把target由标量转为向量如下图所示。论文以类似的提示词方式计算两个方向上的邻居嵌入并求和，不过反正最后是相加，所以其实没必要分开写。以一种递归的模式，上述基于三元组的重建过程可以推广到基于邻居子图的重建。传统的蒸馏学习中，用t表示老师，s表示学生，损失函数如下。是关系相关的提示词，会被加入词表中，下标对应不同的位置。共蒸馏确实利用了两个模型的互补性。

定义一个带实体描述的知识图谱为G=(E,R,T,D)G=(E,R,T,D)，其中一个三元组记做(ei,rj,ek)(ei​,rj​,ek​)，对实体eie_iei​的文本描述为dei=(w1,…,wn)∈Ddei​=(w1​,…,wn​)∈D链路预测的目标是让正样本的得分高于负样本Bert对文本表示进行编码，经过投影矩阵得到实体表示。

不可见实体实验，其中First Probing Task指的是测试集中只包含训练时没见过的实体，Second Probing Task指的是从训练集中随机删除实体，Third Probing Task指的是测试集中只保留训练时见过的实体。孪生神经网络的用途是显而易见的，就是判断两个相似的输入是否是相同的，比如人脸或者是签名识别等等。孪生模型还有两个变种，一种是让两个网络不共享权重甚至完全是不同结构的网络，称之为伪孪生神经网络，主要用来处理输入和输出差距较大的情况，比如说判断文章的标题和内容是否匹配。

其实到这里就能看出来了，这篇文章做的并不是纯粹的多任务预测，因为不同任务的输入是不一样的，这里的输入就是。其实就是拉开正样本和负样本的分差，增强模型的判别能力。做链路预测时还是要把h+r+t作为输入并打分。引入关系预测和相关性排序这两个新任务。，将其名称和描述拼接，例如对于。以多任务形式训练KGBERT。为负采样结果，损失函数如下。为分类权重，损失函数如下。为打分权重，损失函数如下。对应的隐藏向量的表示，

将三元组的名字和描述拼接后得到完整的句子，送入bert得到对整个三元组的表示，用这个表示去执行三元组分类任务或关系预测以微调bert。一个比较有意思的实验是，在较小的训练集比重下，也能得到很好的结果。第一篇使用预训练语言模型做知识图谱补全的论文。

知识图谱表示为K={(ei,rj,ek)}⊂E×R×EK={(ei​,rj​,ek​)}⊂E×R×E，可以由一个三阶邻接张量X∈{0,1}∣E∣×∣R∣×∣E∣X∈{0,1}∣E∣×∣R∣×∣E∣唯一确定给定三元组(hi,rj,tk)∈E×R×E(hi​,rj​,tk​)∈E×R×E。

虽然说是对比学习，但感觉对正负样本对的定义有点奇怪，其实还是负采样，跟之前的方法没有本质区别，最大的创新点是把头实体加关系、以及尾实体分别用文本表示了看了一下github上放出来的代码，运行时间有点吓人，跑一次模型需要两天以上。

研究问题提出一种关系敏感且能充分利用局部和全局结构信息的嵌入模型背景动机ConvE模型的交互数受限，且没有充分考虑结构信息，论文使用Inception卷积网络以增强交互KBGAT考虑到了结构信息，但需要进行多跳推理，论文认为可以通过从局部邻域和全局实体的相关查询子图中对这一过程进行简化。如下图所示，全局头邻居即关系在整个数据集中连接到的头实体，全局尾邻居即关系在整个数据集中连接到的尾实体模型方法总体框架ReInceptionE总体架构如上，包括了Inception-based que

研究问题利用知识图谱中关系的层次结构来提升模型的性能背景动机传统方法直接将关系转换为向量表示，没有利用到其中的层次结构信息论文认为知识图谱中的关系有三层层次结构：relation clusters, relations and subrelations。语义上相似的relation如 producerOf和directorOf都描述了某人和电影间的关系，就可以构成relation clusters，从而形成知识共享；subrelations指的是同一relation的不同语义，比如partOf在(

研究问题在学习知识图谱上的嵌入时对关系的层次结构（RHS）进行建模背景动机这里首先要介绍一下2018年的一篇论文《Knowledge graph embedding with hierarchical relation structure》，

研究问题将神经网络的参数视为关系嵌入，增强模型的表达性以及保持可翻译性背景动机

研究问题提出了一个轻量级的知识图谱嵌入模型框架，可以用有限的参数有效利用实体和关系的上下文信息，并可以直接用来提升仅基于嵌入的老模型的效果背景动机论文首先提出了实体上下文和关系上下文的概念。对于实体上下文，它其实就是现在大多数GNN模型所利用的信息，即一个实体的邻居实体及其相连的边；而关系上下文就是一个给定关系的两个实体端点，这是一个比较新的概念。作者举了一个实体上下文例子，要判断Hillary Clinton和Joe Biden谁是美国总统时，由于Joe Biden的实体上下文有succeeded

研究问题提出了一种新的实体和关系交互的方式，即将关系看做是实体的上下文，并直接用关系来为不同的预测任务生成不同的模型参数，用生成的参数将头实体嵌入转换为尾实体嵌入背景动机目前已有的链路预测方法都是通过加性的方法(最常见的就是拼接之后做线性映射)将头实体和关系的嵌入结合后预测尾实体的，论文认为这种简单的交互限制了模型的表达能力，论文模型的结构如下符号定义假设头实体、关系和尾实体的嵌入分别定义为数学公式:es,r,ete_{s}, r, e_{t}es​,r,et​，实体和关系的嵌入集合分别表示为数

研究问题论文研究了知识图谱上的多跳逻辑查询，使用基于嵌入的神经网络模型去回答包含非的一阶逻辑查询。背景动机推理定义为在已知事实和逻辑规则的基础上去推导出新的知识一阶逻辑（FOL）包括以下几种基本的逻辑操作符：存在(∃)(\exists)(∃)、合取(∧)(\wedge)(∧)、析取(∧)(\wedge)(∧)、非(¬)(\neg)(¬)。但之前的模型只能处理正一阶逻辑（PFOL），即除非之外的逻辑操作符，论文补充了这一点大规模知识图谱的不完整性增加了在上面进行推理的难度符号定义知识图谱表

研究问题将自然语言处理的WordPiece技巧迁移到知识图谱中并提出NodePiece，从而用较少的子实体嵌入去建模大规模知识图谱上的实体嵌入，并增强模型的泛化性能。背景动机大规模知识图谱的出现，使得学习所有节点的嵌入变得非常困难NLP领域也面临过此表太大难以对所有词的嵌入建模的问题，采用了WordPiece技巧来解决。它不再把一个词看成一个整体，而是分割成几个子词。比如"loved",“loving”,“loves"这三个单词，其实本身的语义都一样，但是如果我们以单词为单位，那它们就算不一样的词

研究问题将知识图谱嵌入由一步预测转变为多步推理预测，通过向量空间中的相似性解释每一步，提高其可解释性的同时保证预测效果不下降背景动机知识图谱嵌入由于是一步预测出最终结果，缺乏透明度和可解释性一些具有较强可解释性的方法如强化学习是通过多步预测来获得可解释性的，作者因此想将此思想借鉴到知识图谱嵌入领域论文总结了当前对神经网络黑盒模型进行解释的四种方法，论文使用了如下图所示的代理模型+知识蒸馏来生成解释：学习一个self-explanatory的局部代理模型，代替原来的目标模型改变神经网络的输入

研究问题提出了一种适用于基于翻译的链路预测模型的知识图改进办法，通过在图上引入实体和关系的层次结构信息来提升预测效果背景动机传统的基于翻译的模型比基于神经网络的模型运算速度快得多，而性能下降并不是太多，因此作者想对这些模型做一些改进知识图改进指的是对知识图谱的图结构进行修正（去除错误信息）或提升（增加额外信息）SACN通过将节点属性建模成额外节点来做知识图改进，但这种方法有一些缺陷，首先是它只适用于FB数据集，然后它添加了过多的关系，最后它缺乏可解释性，针对这三个不足，论文做出了对应的改进模

研究问题在ConvE的基础上提出了InteractE，通过进一步增强关系嵌入与实体嵌入间的交互，提升链路预测任务的效果背景动机ConvE通过将一维的实体和关系嵌入转换为二维并拼接作为卷积操作的输入来增强交互性，这对提升性能有一定效果，但这种简单方法的交互性还不够。符号定义假设实体嵌入和关系嵌入分别表示为es=(a1,…,ad),er=(b1,…,bd)\boldsymbol{e}_{s}=\left(a_{1}, \ldots, a_{d}\right), \boldsymbol{e}_{r

研究问题论文对知识图谱的嵌入进行了一些几何属性的研究，并指出了什么样的几何属性可以获得更好的结果，如何获得这样的几何属性背景动机之前已经有工作对词嵌入的几何属性进行了分析，但知识图谱领域还没有相关的研究知识图谱分为加性、乘性和神经网络模型，不同类型的模型学习到的嵌入应该会有不同的几何属性，并进而导致有不同的表现知识图谱需要使用负采样的方法进行训练，负采样时样本数目也会对几何属性产生影响实验设置模型分类TransE、TransR、STransE为加性模型DistMult、HolE、C

研究问题论文指出近年来的几种最佳模型取得的效果提升有一部分来源于评估方式的误差，该指标下即使模型保持输出一个常数也能得到不错的结果，并提出了一种新的评估指标对模型进行了重新评估。论文里的一些观察最近的许多方法都报告了在一个数据集上效果的极大改善，但在另外一个数据集上却没有取得多少改进，如下图所示，以convE为基准，非神经网络模型在WN18数据集上基本能取得不错的进步，神经网络模型在FB数据集上很不错，在WN18数据集上效果反而是下降的论文对最近的一些神经网络模型的三元组得分函数的分布进行了

研究问题创建了稀疏连接的知识图谱数据集，并研究如何在稀疏连接的知识图谱上完成链路预测任务背景动机目前常用的知识图谱补全数据集都是基于稠密连接的假设创建的，比如FB15K数据集创建时就只包含至少有一百条边关联的实体，但这与实际情况不符，限制了模型在实际中的应用现有模型的复杂程度不够，论文对如何堆叠卷积进行了研究现有模型都是直接给出候选实体的分数排名，论文使用Student网络对其进行了Re-rank（知识图谱的稀疏性带来了一些标签噪声，而知识蒸馏有助于提升模型在噪声下的表现）数据集构造论文构

研究问题提出了一种可以充分结合异构的节点信息和边信息，同时学习这两者的嵌入的图卷积网络KE-GCN，并将之前的几种知识图谱CNN纳入一个统一的框架下背景动机传统的图卷积模型一般不关注学习边的嵌入，且无法处理异构的边信息知识图谱领域的大多数嵌入学习方法没有利用到图的结构信息知识图谱领域的图卷积模型虽然同时学习了节点和边的嵌入，但主要精力还是在根据关系嵌入优化实体嵌入，而没有对称的过程模型方法重新解释邻居聚合公式传统GCN对非异构边的邻居聚合公式可以表示为现在引入得分函数f估计每条边

研究问题可解释的动态知识图谱链路预测模型，这里的动态指的是实体可以动态添加，即训练时不要求所有实体都存在背景动机传统的嵌入模型不具备显式的可解释性基于路径的模型无法利用嵌入模型所能挖掘到的统计信息一些将二者相结合的模型只能处理static snapshots，即所有实体要在训练时已知而不能动态添加模型方法总体思路Graph Transformer作为编码器归纳式地聚合邻域信息和当前查询关系，使用强化学习方法作为解码器推导推理路径Graph Transformer将实体的邻居

研究问题之前的方法中，实体嵌入只利用了周围邻居的信息，本篇论文试图在知识图谱嵌入的学习过程中引入节点相对于全图的位置和中心性特征背景动机论文中举了这样一个例子，由于e1和e2的邻居基本一样，传统方法很难区分学习二者的嵌入。但是由于e1连接的哈佛大学比e2连接的耶鲁大学的特征向量中心度更高，所以e1比e2的特征向量中心度更高，如果把这个额外的全局信息加进去会有助于区分二者的嵌入。符号定义知识图谱包括实体集合，关系集合，嵌入学习任务定义为函数，其中Structure-based Embed

研究问题将规则与知识图嵌入的学习过程相结合，提出了一种同时基于图结构和逻辑规则的注意力机制关联规则挖掘首先论文定义了以下规则：One-to-One Association RulesInference Rule此类规则发现同一头和尾实体的单跳同向关系的相关性：例子：Anti-symmetry Rule此类规则发现同一头和尾实体的单跳反向关系的相关性：例子：N-to-One Association Rules此类规则发现多个三元组间的传递性关联规则挖掘

研究问题将图网络作为编码器，将Conv-TransE作为解码器，应用于知识图谱补全任务背景动机ConvE模型在做卷积之前对embedding实施了reshape操作，并且没有保留TransE系列模型的可翻译属性ConvE模型没有把知识图谱的连通性纳入考虑模型思想提出了一种端到端的图结构敏感的卷积网络，编码器为WGCN，将节点结构、节点属性、关系类型作为输入；解码器为Conv-TransE，在ConvE的基础上可以保留实体到关系嵌入之间的翻译属性。模型框架总体流程编码器计算出嵌入矩阵

研究问题研究了实体嵌入和关系嵌入之间的交叉交互问题，并试图为三元组提出可依赖的解释背景动机之前的基于嵌入的模型没有把crossover interactions纳入考虑，即从实体到关系的交互和从关系到实体的交互（大部分模型没有考虑这二者的交互，少部分模型只考虑了从关系到实体的交互）论文举了一个例子，假设上图中的实线是已知三元组，虚线是未知三元组，目标是预测。则关系到实体的交互可以定义为“要预测的关系会影响到实体的信息筛选”，也就是预测时选择红色的线而非蓝色的线作为输入信息；而实体到关系的交互

研究问题提出了一种可以解释NTN和TransE等模型的通用框架，并通过一种双线性计算的实现取得了最佳效果，并且提出了一种从学到的关系嵌入中挖掘关系间逻辑规则的方法背景动机目前还没有一个模型做不同实体嵌入以及关系操作符的选择对预测效果影响的实验现有的用来评估效果的链路预测实验只能间接显示低维嵌入的意义，很难解释在此过程中捕获了什么关系属性传统的规则抽取算法主要靠探索所有可能的搜索路径来查找规则，在知识图谱规模较大时会失效，本文提出基于embedding的方法和知识图谱的规模无关，只和关系的数量有关