Unifying Large Language Models and Knowledge Graphs: A Roadmap综述笔记-入门-知识图谱KG-大模型LLM

本文概述了大型语言模型(LLMs)与知识图谱(KGs)的统一,旨在增强LLMs的推理和解释性,同时改进KGs的构建和进化。研究集中在三个方面:KG增强的LLMs、LLM增强的KGs和两者协同工作。KG增强的LLMs通过预训练和推理阶段融入KG,提高知识理解;LLM增强的KGs利用LLMs进行KG任务,如嵌入、补全和问答系统;协同工作则通过数据和知识驱动的双向推理增强两者能力。未来方向涉及LLMs的幻觉检测、知识编辑和多模态集成。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

论文信息

标题:Unifying Large Language Models and Knowledge Graphs: A Roadmap

作者:Shirui Pan

摘要

LLMs,例如chatGPT和GPT4,由于其涌现能力和泛化性,对自然语言理解和人工智能领域产生了新的冲击。

然而,LLMs是一个黑箱模型,往往缺乏捕获和获得事实知识。相反,知识图谱,例如维基百科等,是有结构模型。存储着丰富的事实知识。KGs可以通过提供额外的知识去增强大语言模型的推理和解释性。同时,知识图谱也很难去自然构造和进化,对于现有的知识图谱方法来说,生成新的事实和表示未知数据是一个挑战。因此,统一LLMs和KG,同时利用他们的优点是一种补充。

在这篇文章中,我们提出了统一LLMs和KG的路线图。我们的路线图包含三个通用框架:

  1. KG-enhanced LLMs:在LLMs的预训练和推理阶段,融入KG,增强对LLMs学到的知识的理解。
  2. LLM-augmented KGs:利用LLMs执行知识图谱的各项任务,例如嵌入,补全,构造,图-文本生成 以及问答系统。
  3. Synergized LLMs+KGs:LLMs和KGs发挥平等作用,相互合作,以数据和知识驱动的双向推理方式增强LLMs和KGs的能力
    我们在路线图中回顾和总结了这三个框架内的现有成果,并指出了它们未来的研究方向。

背景

KGs

优点
  - 结构化
  - 准确率
  - 确定性
  - 可解释性
  - 领域专业知识
 
 缺点
 - 不够完整
 - 语言理解能力匮乏
 - 对没见过的数据泛化性差

LLMs

优点
  - 通用知识
  - 语言处理
  - 泛化性强

缺点
  - 隐式知识(implicit)
  - 幻觉(Hallucination)
  - 犹豫(indecisiveness)
  - 缺乏领域/新知识

KGs中现有方法的不足
  - 不能对新事物或关系进行有效处理
  - 忽略大量的文本信息
  - 泛化能力较差

LLM可以帮助KG更好的利用和理解文本信息。

大模型分类

encoder-only encoder-decoder decoder-only
代表模型 Bert T5 GPT
训练方法 predict masked words masking and predicting spans of masking words predict the next word
下游任务 文本分类,实体命名 summariaztion, translation, and question answering generally perform downstream tasks from a few examples or simple instructions

知识图谱分类

encyclopedic KGs commonsense KGs domain-specific KGs multimodal KGs
百科知识图谱 常识知识图谱 领域知识图谱 多模态知识图谱

研究内容

LLMs和KGs统一的三种通用框架:

  • KG-enhanced LLMs
  • LLM-augmented KGs
  • Synergized LLMs + KGs

KG-enhanced LLMs

  1. 在预训练阶段,融入KGs
  2. 在推理阶段,融入KGs
  3. 利用KGs解释事实和LLMs的推理过程

LLM-augmented KGs

将LLMs作为 text encoder用于知识图谱的相关任务。

  • take advantage of LLMs to process the textual corpus in the KGs and then use the representations of the text to enrich KGs representation
  • 借助LLMs提取关系和实体。
  • 设计一个KG promot,将结构化的KGs高效地转换成LLMs可以理解的格式,从而LLMs可以直接作用于KG相关的任务。

Synergized LLMs + KGs

包含四个layer:

  • Date
        - LLMs和KGs分别处理文本和结构化数据以及多模态数据
  • Synergized Model
  • Technique
  • Application
        - 搜索引擎、推荐系统、AI助手

image.png

KG-ENHANCED LLMS

KG-enhanced LLM Pre-training

  • Integrating KGs into training objective(将知识图谱整合到训练目标)
        - 利用知识图谱结果分配mask的概率
           &nb
### CVPR2024 统一自上而下和自下而上的扫描路径预测使用 Transformers 的研究 在计算机视觉领域,特别是针对人类注视点预测的任务中,统一自上而下的目标驱动注意力机制与自下而上的显著性检测是一个重要的研究方向。HAT (Hierarchical Attention Transformer) 是一种基于变换器架构设计的新颖模型,在此背景下被提出并应用于扫描路径预测任务[^3]。 #### Hierarchical Attention Transformer (HAT) 该模型旨在通过多层次特征融合来捕捉图像中的复杂结构信息,并利用序列建模能力模拟人眼移动过程中的时间依赖关系。具体来说: - **多尺度特征提取**:采用预训练卷积神经网络作为骨干网,获取不同层次的空间表征; - **全局上下文感知模块**:引入位置编码技术增强对绝对坐标的敏感度; - **局部细节聚焦机制**:借助于自注意层内部节点间交互作用突出重要区域; - **行为克隆策略指导学习**:以专家示范数据集为基础优化参数配置,使得最终输出更贴近真实用户的浏览习惯。 为了实现高效推理计算,还特别考虑到了轻量化部署需求,采取了一系列加速措施如剪枝、量化等操作确保实际应用性能不受影响。 ```python import torch.nn as nn class HATT(nn.Module): def __init__(self, backbone='resnet50', num_heads=8, hidden_dim=512): super(HATT, self).__init__() # Backbone network for multi-scale feature extraction self.backbone = get_backbone(backbone) # Global context aware module with positional encoding self.pos_encoder = PositionalEncoding(hidden_dim) # Local detail focus mechanism via self-attention layers transformer_layer = nn.TransformerEncoderLayer( d_model=hidden_dim, nhead=num_heads ) self.transformer = nn.TransformerEncoder(transformer_layer, num_layers=6) # Behavior cloning strategy guided learning process self.regressor = nn.Sequential( nn.Linear(hidden_dim * 7*7, 256), nn.ReLU(), nn.Dropout(0.5), nn.Linear(256, 2), # Predicting gaze coordinates ) def forward(self, x): features = self.backbone(x).flatten(start_dim=2).transpose(-2,-1) encoded_features = self.pos_encoder(features) attended_features = self.transformer(encoded_features) pred_gaze = self.regressor(attended_features.mean(dim=1)) return pred_gaze ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值