TOWARDS FOUNDATION MODELS FOR KNOWLEDGE GRAPH REASONING

本文是LLM系列文章，针对《TOWARDS FOUNDATION MODELS FOR KNOWLEDGE GRAPH REASONING》的翻译。

摘要

语言和视觉中的基础模型能够对任何文本和视觉输入进行推理，这要归功于语言中的可转移表示，如标记词汇。知识图谱（KGs）具有不同的实体和关系词汇，它们通常不重叠。在KGs上设计基础模型的关键挑战是学习这种可转移的表示，从而能够在任何具有任意实体和关系词汇的图上进行推理。在这项工作中，我们朝着这样的基础模型迈出了一步，并提出了ULTRA，一种学习通用和可转移图表示的方法。ULTRA将关系表示构建为一个以它们的交互为条件的函数。这样的条件调节策略允许预先训练的ULTRA模型归纳推广到具有任何关系词汇的任何看不见的KG，并在任何图上进行微调。在57个不同的KGs上进行链接预测实验，我们发现单个预先训练的ULTRA模型在各种大小的不可见图上的零样本归纳推理性能通常与在特定图上训练的强基线相当或更好。微调进一步提升了性能。

1 引言

2 相关工作

3 前言

4 方法

5 实验

6 讨论与未来工作

限制和未来工