大模型系列——论文解读:MKGL

KG完成的目标：对于（头部实体，关系，尾部实体）三元组中，给定其中一个关系和实体，预测另外一个实体。

词表构建：若把实体作为新的token扩展进原有词表，是不可行的，以WN18RR数据集为例，实体有4万多个。因此我们利用现有的tokens来生成新的KGL tokens.从而避免了为每个KG元素学习唯一嵌入的计算负担。

3.4 LoRA-based KGL Context Retriever

1、Scale Down

对于输入embedding经过线性层降维

2、Retrieve Text Information

把KGL的token转为统一的向量，如“Mighty Morphin Power Rangers”这个实体，先会转成多个基于原token的向量，然后进行池化进行聚合成一个向量。