少样本低资源知识图谱补全与多视图任务表示生成

原创

已于 2024-06-20 20:27:59 修改

· 821 阅读

15 ·

版权

文章标签：

#知识图谱 #人工智能

于 2024-06-17 22:03:34 首次发布

1 引言

面向的问题：在低资源且使用非通用语言的的KG中，具有挑战性的长尾关系问题阻碍了KG补全中遗漏三元组的自动发现，且泛化能力低。

1.1本研究目标

减轻长尾问题的影响，并提高少样本KG完备化模型在低资源KG上的泛化能力。

1.2本研究提出的解决方案

基于多视图任务表示生成的少样本学习框架。

①该框架由四个部分组成，即少样本学习器、扰动少样本学习器、关系知识蒸馏器和成对对比蒸馏器。其核心思想是利用每个少样本任务的不同观点来改进和规范对少样本学习者的训练。

②对于每个少样本任务，不是通过复杂的任务设计来增强它，而是使用关系知识抽取器和扰动少镜头学习器来生成其不同视图的表示，这些表示是通过从KG编码器中提取知识并扰动少样本学习器来获得的。

③然后，基于教师-学生模型的成对对比蒸馏器利用生成的不同视图的表示，从不同的视图中提取如何表示关系的知识到少样本学习者中，从而促进少样本学习。

1.3对比学习相关基础知识

①生成不同的视图

少样本学习中的一种策略，目的是通过创建多样化的输入表示（views）来增强模型的泛化能力和鲁棒性。在知识图谱补全中，不同视图的生成可以通过以下几种方式实现：

图结构视图：
- 基于子图：从知识图谱中提取不同的子图来表示同一实体或关系。
- 基于邻居节点：不同视图可以包括不同数量的邻居节点或选择不同的邻居节点。
特征视图：
- 使用不同的特征集：从原始数据中提取不同的特征子集。例如，可以基于节点的属性、关系的类型或上下文信息来生成不同的视图。
- 多模态特征：如果知识图谱包含多模态数据（如文本、图像等），可以基于不同模态生成视图。
数据增强视图：
- 数据增强：对原始数据进行变换，如添加噪声、随机裁剪或旋转等方式，生成多种变换后的视图。
- 合成数据：通过生成对抗网络（GANs）或其他生成模型生成合成数据来增加样本多样性。
  ②直接生成扰动表征
- 与常见的对比学习步骤不同，这里描述的方法直接生成扰动表征，而不是先对数据进行扰动再提取表征。这种方法有以下特点和优势：
- 直接生成扰动表征：
  - 而不是对数据本身进行各种增强和变换，这种方法直接在特征空间中生成扰动后的表征。这意味着我们不再需要对数据进行多种形式的扰动，而是直接操作特征表示。
- 避免了小概率任务扰动：
  - 在实际应用中，某些数据扰动可能会导致一些不合理或罕见的变换（小概率事件），这些变换可能对模型训练产生负面影响。通过直接生成扰动表征，可以避免这些小概率任务扰动带来的不利影响，确保生成的表征在特征空间中更加合理和有效。