时序结构重要性加权图卷积网络用于时序知识图谱补全

最新推荐文章于 2024-06-19 11:30:01 发布
最新推荐文章于 2024-06-19 11:30:01 发布
阅读量984 收藏 4
点赞数 1
分类专栏： 时序知识图谱补全 文章标签： 知识图谱 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/BIT_mk/article/details/132360599
版权

目录

摘要部分

四元数

时间戳

时间信息对四元数的影响

知识图谱里的结构信息

时序注意模块

重要性加权的图卷积网络

引言部分

现有方法的不足

本文主要贡献

准备工作

问题定义

大部分方法的缺陷

本文方法

框架

时序注意模块

实体分类

带有注意力机制的双向长短期记忆模型

时序感知注意力

节点重要性加权的GCN—TS-GCN

时间语义重要性

结构重要性

知识图谱补全

TS-GCN算法

总结

摘要部分

现有的时序知识图谱补全的方法忽略了时序信息对四元数的影响。

四元数

在时序知识图谱中，四元数是由三元组（头实体、关系、尾实体）和时间戳组成的。四元数是由三元组和时间戳组成的，表示了一个在特定时间有效的知识事实。

时间戳

时间戳是一个特定的时间点或时段，用来表示三元组在何时有效或发生。

时间信息对四元数的影响

这是指如何将时间戳与三元组相结合，以表示知识事实在不同时间的状态。例如，如果我们有关于奥巴马是美国总统的三元组，并附加了2009-2017的时间戳，那么这个四元数就表示了奥巴马在这个时间段内是美国总统的事实。

知识图谱里的结构信息

在一个复杂的图结构中，当信息从一个节点传递到另一个节点时，每个节点的重要性是不同的。这可能是因为某些节点在网络中的位置更为核心，或者它们与更多其他节点相连，或者基于其他一些度量标准。这种不同的重要性可能会影响信息在网络中的传播方式和速度。

所以为了解决现有方法的问题，本文提出了一种新的基于一个时序注意模块和一个重要性加权的GCN的解决方法（ATL-TKGC）。

时序注意模块

这个模块主要是捕捉时间戳实体间的联系和语义层面上的关系。

重要性加权的图卷积网络

重要性加权的图卷积网络（GCN）充分考虑了结构的重要性，并将时态信息的关注点集中在实体上，以便进行加权整合。

引言部分

现有方法的不足

  • 没有充分利用时间信息对三元组的影响。
  • 带时间戳的四元数应当作为一个整体来建模，也就是说，三元组事实在特定的时间点或时期是正确的。
  • 忽略时间对不同类型实体的影响模式。
  • 不能捕捉时间信息对不同实体的影响大小。

本文主要贡献

  • 设计了一种基于时态注意力学习（TAL-TKGC）的时态知识图谱补全方法，该方法可以捕捉时间戳与三元组之间的深层联系。
  • 改进了图卷积网络（GCN），使其能够基于节点的时态语义和结构重要性，以不同的权重聚合结构信息和节点嵌入。
  • 在两个公共数据集ICEWS14和ICEWS05-15上进行了比较和加速实验。结果验证了所提模型在多个GPU上的性能和可扩展性。

准备工作

问题定义

主要任务是根据现有事实预测四元数在某时刻缺失的部分。

可被分为两种类型的预测。

  • (?,r, t, time)
  • ( h , r , ? , time )

大部分方法的缺陷

  • 没有考虑时态四元数的完整性
  • 没有挖掘时态信息对事实的多维影响

本文方法

框架

主要包含三个主要模块

  • 时序注意模块
  • 时序知识图谱嵌入模块
  • 补全模块

时序注意模块
实体分类

时间信息只能影响一个实体的动态属性，并且具有相同类型的实体将具有近似相同的属性随时间变化。

所以对TKGC任务进行分类，并基于分类提取其动态嵌入，以提高TKGC任务的准确性。

带有注意力机制的双向长短期记忆模型

解决弱标签或无标签下实体的多分类问题 。

该模型首先将实体的文本信息输入到Bi-LSTM模型中，并使用Bi-LSTM模型提取上下文的语义信息来处理长序列数据。引入注意力机制提取文本中的重要词信息，充分提取文本中最关键和最有价值的信息，以提高模型分类的准确性。

文本中第j个字对第i个字的关注程度按如下计算

加权词嵌入按如下计算

时序感知注意力

关系，尾实体和时间对于头实体的注意力按如下计算

节点重要性加权的GCN—TS-GCN

传统的消息传递公式 

传统消息传递机制中同样的权值不可避免地削弱紧密连接节点的局部特征，加强稀疏连接节点的局部特征。

时间语义重要性

节点的时间语义重要性按如下计算

结构重要性

节点的位置可以在一定程度上反映图的结构信息。

通过K-shell分解算法得到结构重要性。

k-壳分解算法根据节点的位置为节点分配不同级别的重要性。

结合了节点重要性的加权GCN方法的消息传递机制可以描述如下

负采样

是通过用实体集合中的任何实体随机替换四元数中的头或尾实体而得到的。

损失函数

知识图谱补全
TTransE模型
它将事实的合理性视为在联合解释关系和时间后头实体和尾实体在向量空间中之间的距离的大小。

 

评分函数

如果事实（eh，er，et，etime）是真实的，那么对应的分数应该接近于零。

TS-GCN算法

总结

大多数现有的TKGC方法将时间信息合并到三元组中，并将它们转换为KGC任务，这并没有充分利用时间信息对三元组的影响。此外，现有的基于消息传递网络的嵌入学习方法将具有相同注意力的邻居传递的特征进行聚合，忽略了每个节点在消息传递过程中具有不同重要性的复杂结构信息。因此，设计了一种基于时间属性感知的TKGC方法（TAL-TKGC），其中包括一个时间注意模块和一个重要性加权GCN。时间注意模块用于捕捉语义层次上的时间戳、实体和关系之间的深层联系。同时，在重要性加权GCN中，将时间信息的结构重要性和对实体的关注度作为信息聚合的权重，从而将实体信息转移到具有不同时间注意度的相邻节点。对两个基准数据集的实验结果验证了该方法的性能。同时，我们还验证了该模型在多个gpu上具有良好的可伸缩性。

自动加权图卷积网络（Auto-Weighted Graph Convolutional Network）的 PyTorch 实现
StyVue的博客
09-18 280
图卷积网络（Graph Convolutional Network，GCN）是一种用于图结构数据的深度学习模型，已经在许多图相关的任务中取得了显著的成功。自动加权图卷积网络（Auto-Weighted Graph Convolutional Network）是对传统 GCN 的改进，通过自动学习权重参数来动态调整图卷积中的邻居节点的重要性。中，我们首先计算每个节点的自动权重，然后将自动权重与邻居节点的特征进行加权求和。中，我们首先计算每个节点的自动权重，然后将自动权重与邻居节点的特征进行加权求和。
基于图注意力的动态知识图谱推理
AI天才研究院
03-23 758
随着信息技术的飞速发展，知识图谱作为一种有效的知识表示和管理方式，在众多领域得到了广泛应用。然而，现实世界中的知识是动态变化的，传统的静态知识图谱难以满足实际需求，因此动态知识图谱的研究逐渐成为热点。基于图注意力的动态知识图谱推理旨在利用图注意力机制，更好地处理动态知识图谱中的信息，提高推理的准确性和效率。本文的范围涵盖了图注意力机制的原理、动态知识图谱推理的算法、数学模型、项目实战以及实际应用等方面。本文共分为十个部分。第一部分为背景介绍，阐述了文章的目的、预期读者和文档结构。
【论文阅读】Towards Time-Aware Knowledge Graph Completion
qq_44960910的博客
09-19 602
重点：知识图谱中考虑时间因素time实现知识图谱的补全
时序知识图谱补全论文整理：Ⅰ
han54878的博客
08-28 1866
有了时序知识图谱的概念之后，就可以根据静态知识图谱补全任务来延伸得到时序知识图谱补全的定义。静态知识图谱补全任务：对于$\mathcal{G}={\mathcal{E}\times\mathcal{R}\times \mathcal{G}}={(h, r, t)}$, 给出新的三元组 $(h, r,?)$ 预测尾部实体，或者给出$(?, r, t)$预测头部实体。在实际评估的时候，会把预测问题建模为对实体集合$\mathcal{E}$中所有实体进行打分的问题。............
利用语义属性来进行时序知识图谱的补全
BIT_mk的博客
08-23 1288
利用语义属性来进行时序知识图谱的补全。
TIE: A Framework for Embedding-based Incremental Temporal Knowledge Graph Completion 增量时序知识图谱补全论文解读...
https://www.cnblogs.com/qizhou/
12-13 771
　　论文网址：https://dl.acm.org/doi/10.1145/3404835.3462961 　　Arxiv：https://arxiv.org/abs/2104.08419 　　论文提出一种用增量学习思想做时序知识图谱补全(Temporal Knowledge Graph Completion, TKGC)的学习框架——Time-aware Incremental Embeddi...
CCF-A类时序知识图谱（temporal knowledge graph）2022、2023论文整理
qaaaaaaz的博客
08-09 6685
本文是关于如何用一种来解决的问题。时间知识图谱是一种动态的知识图谱，它包含了随着时间变化的事实。TKG补全的目的是预测缺失的事实，比如某个实体在某个时间点和另一个实体有什么关系。作者提出了两个主要的想法：（i）一个时间正则化，它鼓励模型利用不重要的参数来学习新的知识，（ii）一个基于聚类的经验回放，它通过选择性地保留一小部分过去的数据来强化过去的知识。作者在几个常用的事件中心的TKG数据集上进行了实验，证明了他们的框架在适应新事件的同时减少了灾难性遗忘。
基于卷积神经网络的时序知识图谱补全研究.pdf
01-20
特别是在处理时序数据时，知识图谱的补全尤为重要，因为许多现实世界事件和对象都存在时间上的关联性和变化性。 卷积神经网络（CNN）在图像识别、语音处理等领域取得了巨大成功，其强大的特征提取能力使之在处理...
时态知识图谱补全的方法及其进展
weixin_45585364的博客
06-30 3589
点击上方蓝字关注我们时态知识图谱补全的方法及其进展申宇铭,杜剑峰广东外语外贸大学信息科学与技术学院，广东 广州 510420摘要：时态知识图谱是将时间信息添加到传统的知识图谱而得到的。近...
专利 | 基于图卷积神经网络融合多种人脑图谱的受试者分类方法
weixin_40052256的博客
02-13 639
Hello, 大家好，这里是壹脑云，我是Ting Zhang~ 今天和大家一起学习的是“基于图卷积神经网络融合多种人脑图谱的受试者分类方法”这个专利。它是由华南理工大学的张鑫和梁成波发明的专利。 这个发明公开了一种基于图卷积神经网络融合多种人脑图谱的受试者分类方法，人脑图谱是一种数据结构，表示人脑中不同脑区之间的互动信息，通过对受试者的五种人脑图谱进行识别从而对该受试者进行分类预测，属于脑科学研究以及深度学习研究领域。 该分类方法步骤如下：获取人脑功能磁共振时序信号并进行预处理；根据不同的功能连接强度计算.
时序图 循环_图神经网络入门（五）不同类型的图
weixin_39567169的博客
12-03 731
本文是清华大学刘知远老师团队出版的图神经网络书籍《Introduction to Graph Neural Networks》的部分内容翻译和阅读笔记。个人翻译难免有缺陷敬请指出，如需转载请联系翻译作者作者：Riroaki原文：https://zhuanlan.zhihu.com/p/147696322目录往期文章传送门有向图(Directed Graph)异构图(HETEROGENEO...
EMNLP 2020上与【知识图谱补全】相关的论文（五篇）.zip
11-25
EMNLP 2020共收到有效投稿3114篇，录用602篇长文和150篇短文。近期，所有Paper list 放出，也包括（Findings of EMNLP），知识图谱补全特别是时序知识图谱补全（KGC）相关的接受paper很多，希望大家多多关注。
【TA-DistMult】用于时序知识图谱补全的学习序列编码器-2018
m0_49230366的博客
11-03 1144
知识图谱中链接预测的研究主要集中在静态多关系数据上。在这项工作中，我们考虑时序知识图谱，其中实体之间的关系可能只保持在一个时间间隔或一个特定的时间点上。与之前在静态知识图谱上的工作一致，我们提出通过学习潜在实体和关系类型表示来解决这个问题。为了整合时间信息，我们利用RNN来学习关系类型的时间感知表示，这可以与现有的潜在因子分界方法一起使用。所提出的方法被证明对现实世界中的共同挑战：时间表达式的稀疏性和异质性。实验表明了我们的方法在四个时序知识图谱上的好处。这些数据集在一个BSD-3的许可下是可用的。
(12)MPNet：基于多策略网络的时态知识图补全
qq_51514930的博客
06-19 1080
知识图谱G={G_1，G_2，...，G_T}，其中GT=(E，R，F_t)表示时间戳t处的时序知识图谱快照。E，R表示实体和关系的集合，F_t表示时间戳t下的所有事实(e_s , r, e_o, t)的集合。时间戳t下的头、尾实体和关系在时间戳t的动态嵌入静态嵌入：e和r表示实体和关系。（以下这个图麻烦、复杂、眼花缭乱，但下面静态动态策略内容都和它相关）
论文2：时态知识图谱补全的方法及其进展
han54878的博客
08-29 1924
该模型对时态知识图谱及查询分别进行预训练，完成时态信息与实体表示向量的融合，并计算其邻居的注意力分布，然后利用子图采样的方法获得每个实体及与查询相关的邻居的子图结构，过滤与查询不相关的实体，再利用图神经网络模型，更新子图上实体的表示向量并结合基于路径遍历的方法更新实体邻居的注意力分布，最后依据最高概率推理出实体间隐藏的关系。相对于第一类方法，基于序列学习的方法更加强调不同实体和关系间的历史关系，即实体或关系之间带有时间戳的序列之间的交互。（本文总结目前时序知识图谱的补全方法，以及不同方法之间的对比分析。..
基于历史对比学习的时序知识图谱推理
徐奕的专栏
12-25 4250
知识图谱（KGs）作为人类知识的集合，在自然语言处理、推荐系统和信息检索等领域显示展现了很好的前景。传统的KG通常是一个静态知识库，它使用图结构数据拓扑，并以三元组（s, p, o）的形式集成事实（也称为事件），其中s和o分别表示主语（头实体）和宾语（尾实体）实体，p作为关系类型表示谓词。在现实世界中，由于知识不断发展，时序知识图谱（TKG）的构建和应用成为领域热点，其中三元组（s, p, o）扩展为四元组，增加了时间戳t，即（s, p, o, t）。下图是由一系列国际政治事件组成的TKG。
基于历史对比学习的时序知识图谱推理（AAAI2023）
qaaaaaaz的博客
08-05 1871
CENET的关键思想是学习整个实体集的一个令人信服的分布，并在对比学习的框架下从历史和非历史的依赖中识别出重要的实体。许多重复的和周期性的事件只与历史实体相关联，此外对于新的事件，现有的模型很可能会忽略那些历史交互较少的实体并预测那些经常与其它事件交互的错误实体。传统的知识图谱是一个静态知识库，它使用图结构的数据拓扑，以三元组（s,p,o）的形式集成时间，s是主体实体，o是对象实体，p是一个关系类型。在有监督的对比学习中包括俩个阶段，引入Iq来表示缺失的对象是否在历史实体中，1的话就是在，0就是不在。
知识补全中图卷积网络的再思考Rethinking Graph Convolutional Networks in Knowledge Graph Completion阅读笔记
自学小角落
03-20 484
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Zw3S5oC7-1679319469449)(知识补全中图卷积网络的再思考Rethinking Graph Convolutional Networks in Knowledge Graph Completion阅读笔记_files/1176069484.png)]即，KGE模型和梯度下降的组合表现得类似GCN的聚合操作，所以再单独添加聚合是不必要的，也是从原理上说明了为什么LTE-KGE性能和GCN类的KGC模型类似。
知识图谱笔记（1）——知识图谱基础
aidanmo的博客
07-02 1632
文章目录1. 什么是知识图谱2. 知识图谱的计算3. 知识图谱的存储3.1 RDF存储3.2 图数据库存储3.3 RDF与图数据存储的区别 1. 什么是知识图谱 知识图谱（Knowledge Graph）是由谷歌公司2012年提出来的新名词，其初衷是优化搜索殷勤返回的结果，增强用户搜索质量及体验。 实际上，知识图谱并不是一个全新的概念，早在 2006 年就有文献提出了语义网（Semantic Network）的概念，呼吁推广、完善使用本体模型来形式化表达数据中的隐含语义，RDF（resource descr
图注意力卷积网络
最新发布
03-29
### Graph Attention Convolutional Network 的实现与应用 #### 什么是 Graph Attention Convolutional Network？ Graph Attention Convolutional Network (GAT) 是一种基于注意力机制的图神经网络架构，它通过引入注意力机制改进了传统的图卷积网络（GCN）。相比于传统 GCN 中固定的邻域聚合方式，GAT 能够动态地为不同邻居分配权重，从而更好地捕捉节点之间的关系[^4]。 #### GAT 的核心思想 GAT 的核心在于使用自注意力机制计算节点与其邻居的重要性分数。具体来说，对于每个节点 \(v_i\) 及其邻居集合 \(\mathcal{N}_i\)，GAT 计算每一对节点间的注意力系数，并将其用于加权求和操作以更新节点表示。这种设计使得 GAT 不仅能够有效处理不规则图结构的数据，还能够在训练过程中自动学习到重要的局部模式[^1]。 #### 数学表达形式 假设输入特征矩阵为 \(X \in \mathbb{R}^{N \times F}\)，其中 \(N\) 表示节点数量，\(F\) 表示初始特征维度；邻接矩阵为 \(A \in \mathbb{R}^{N \times N}\)。则第 \(k\)-th 头的注意力机制可以定义如下： \[ e_{ij} = a(W_k h_i, W_k h_j) \] 这里 \(W_k\) 是可学习参数矩阵，函数 \(a(\cdot)\) 定义了一个共享的注意力评分机制。最终，经过 softmax 归一化后的注意力得分被用来重新组合邻居的信息： \[ \alpha_{ij} = \text{softmax}(e_{ij}) \] 新特征向量可以通过下式获得： \[ h'_i = \sigma\left( \sum_{j \in \mathcal{N}_i} \alpha_{ij} W h_j \right) \] 上述过程通常会重复多次以构建多层网络。 #### 实现代码示例 以下是使用 PyTorch 实现简单版本 GAT 的代码片段： ```python import torch import torch.nn as nn import torch.nn.functional as F class GraphAttentionLayer(nn.Module): def __init__(self, in_features, out_features, dropout, alpha=0.2): super(GraphAttentionLayer, self).__init__() self.dropout = dropout self.in_features = in_features self.out_features = out_features # Linear transformation parameters self.W = nn.Parameter(torch.empty(size=(in_features, out_features))) nn.init.xavier_uniform_(self.W.data, gain=1.414) # Attention mechanism parameters self.a = nn.Parameter(torch.empty(size=(2*out_features, 1))) nn.init.xavier_uniform_(self.a.data, gain=1.414) self.leakyrelu = nn.LeakyReLU(alpha) def forward(self, h, adj): Wh = torch.mm(h, self.W) # h.shape: (N, in_features), Wh.shape: (N, out_features) e = self._prepare_attentional_mechanism_input(Wh) zero_vec = -9e15*torch.ones_like(e) attention = torch.where(adj > 0, e, zero_vec) attention = F.softmax(attention, dim=1) attention = F.dropout(attention, self.dropout, training=self.training) h_prime = torch.matmul(attention, Wh) return F.elu(h_prime) def _prepare_attentional_mechanism_input(self, Wh): # batch_size x nodes x features => batch_size x nodes x heads x two_times_out_features Wh1 = torch.matmul(Wh, self.a[:self.out_features, :]) Wh2 = torch.matmul(Wh, self.a[self.out_features:, :]) e = Wh1.unsqueeze(1) + Wh2.unsqueeze(0) return self.leakyrelu(e).squeeze(-1) ``` #### 应用场景 - **微表情识别**：如 AU-assisted Graph Attention Convolutional Network 所述，GAT 结合动作单元信息提高了微表情分类精度。 - **反馈增强型网络**：Feedback Graph Attention Convolutional Network 利用了全局上下文信息以及细粒度纹理特性提升图像分析效果[^2]。 - **多尺度图谱分层建模**：Multiscale-atlases-based Hierarchical Graph Convolutional Network 提出了针对复杂数据分布的有效解决方案[^3]。 - **时空序列预测**：ST-GCN 将空间上的图卷积与时序上的卷积相结合，在人体姿态估计等领域取得了良好表现[^5]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值