论文阅读笔记-Bayesian hypernetwork collaborates with time-difference evolutional network for temporal know

Introduction

 时态知识图谱（TKGs）是传统知识图谱的扩展，由四元组（主题，关系，对象，时间戳）组成，它额外包含了时间维度的信息。TKG推理专注于基于已知事实推断缺失的事实，主要可分为插值和外推。给定一个TKG中的时间戳范围[0, T]，其中T表示最大时间戳，TKG插值是在过去时间戳[0, T]范围内补充缺失的事实。TKG外推的推理时间戳超出了T，专注于预测未来的事实。此研究针对的是TKG外推。

现有方法局限性

 但是其中大多数方法未能在统一的框架中考虑实体和关系以及时间预测的任务，因此他们学习的嵌入可能无法完全模拟TKG。此外，很少有TKR方法能够进行时间预测。在时间预测任务中，复杂的环境是不断变化的，预测时间取决于具体的事件及其发生的环境，未来任何时间都有可能发生，确定哪个时间点是答案是费力的。这里我们称这个时间为不确定性。事实上，时间不确定性属于输出不确定性，并且时间不确定性是时间预测任务中模型输出不确定性的具体形式，捕获时间不确定性对于在时间预测任务中获得更准确的事件时间至关重要。

贝叶斯超网络和时差演化网络（BHTDEN）

 使用贝叶斯超网络来建模时间差的复杂分布，以更准确地捕捉KGs的演化模式。在实体和关系编码器中需要学习时间差和TKG嵌入之间的关系，本文们提出了一个由相邻KG的时间间隔参数化的自回归时间门来表示实体和关系的时间演化。这种设计有助于在时间解码器中更准确地预测查询时间。此外，受GCN在实体表示中的应用的启发，我们使用当前关系对应的主题实体的邻居关系来学习该关系的表示，以适应关系的上下文，从而获得更具表达力的关系嵌入。大量的实验结果表明，本文的方法比现有的方法具有更好的性能，从而强调了我们方法的有效性和优越性。

Methodology

BH-TDEN 编码器

结构编码器模块

 利用关系感知GCN捕捉时序知识图谱中实体对应于每个时间戳的邻居交互：

 对于关系的更新，为了适应关系的上下文，本文提出了一种新的更新机制，该机制使用对应于当前关系的主体实体的邻居关系来学习该关系的表示：

时差进化编码器模块

 利用时间差参数化的时间门来建模知识图谱历史序列的自回归模型，以便学习并表示每个时间戳上知识图谱的时间演化特性（时间门是一种控制信息在模型中如何传递的机制，它类似于神经网络中的“门”概念，用于控制信息的流动。在这个模型中，时间门是根据相邻知识图谱之间的时间差来参数化的。这意味着时间门会根据一个KG与前一个KG之间的时间间隔来调整其行为）：

BH-TDEN 解码器

 候选实体的条件概率被建模为：

 候选关系的条件概率被建模为：

 为了预测查询时间，我们首先预测查询和最近的历史相关事件之间的时间差。最近的历史相关事件是与查询具有相同主题实体并具有最大时间值（即与查询的时间距离最短）的事件。不同的查询到最近的历史相关事件的距离（时间差）不同，采用BHN来模拟不确定性：

 给定一个观察到的训练集D，𝑞（𝜽）是一个可学习的函数，它近似于真实的后验𝑝（𝜽|D）。对于𝑞（𝜽）:

 KL散度是衡量两个概率分布差异的非对称性度量,Eq为期望函数。

 𝜽 = ℎ(𝜖)，𝜖为输入输出参数的扰动，h为双射函数。

训练

Experiments

数据集

评价指标

实体与关系预测：Hits@1/3/10 和 MRR

时间预测：平均绝对误差（MAE）

结果

Conclusion

 开发了BH-TDEN模型来建模TKGs，并在一个统一的框架中联合处理实体、关系和时间预测。本文贡献如下：

（1）在时间预测任务中，我们选择预测查询与最近的历史相关事件之间的时间差，而不是直接预测查询时间，因此在实体和关系编码器中，我们设计了一个由时间差参数化的时间门，以建立时间差与实体和关系嵌入之间的关系。

（2）开发了一种新的关系更新机制，以获得更具表现力的关系嵌入。

（3）首次采用贝叶斯超网络来解决时差（或查询时间）的不确定性问题，以获得更准确的查询时间。