TOWARDS FOUNDATION MODELS FOR KNOWLEDGE GRAPH REASONING

本文是LLM系列文章，针对《TOWARDS FOUNDATION MODELS FOR KNOWLEDGE GRAPH REASONING》的翻译。

摘要

语言和视觉中的基础模型能够对任何文本和视觉输入进行推理，这要归功于语言中的可转移表示，如标记词汇。知识图谱（KGs）具有不同的实体和关系词汇，它们通常不重叠。在KGs上设计基础模型的关键挑战是学习这种可转移的表示，从而能够在任何具有任意实体和关系词汇的图上进行推理。在这项工作中，我们朝着这样的基础模型迈出了一步，并提出了ULTRA，一种学习通用和可转移图表示的方法。ULTRA将关系表示构建为一个以它们的交互为条件的函数。这样的条件调节策略允许预先训练的ULTRA模型归纳推广到具有任何关系词汇的任何看不见的KG，并在任何图上进行微调。在57个不同的KGs上进行链接预测实验，我们发现单个预先训练的ULTRA模型在各种大小的不可见图上的零样本归纳推理性能通常与在特定图上训练的强基线相当或更好。微调进一步提升了性能。

1 引言

2 相关工作

3 前言

4 方法

5 实验

6 讨论与未来工作

限制和未来工作。尽管ULTRA在零样本和微调机制中作为KG推理的基础模型展示了很有前途的能力，但存在一些局限性和悬而未决的问题。首先，在更多的图上进行预训练通常并不意味着更好的推理性能。我们假设原因可能是整体模型大小较小（177k个参数）和模型容量有限，即随着训练数据多样性的增加，模型大小也应该增加。另一方面，我们的初步实验没有显示出将参数