Exploring Large Language Models for Knowledge Graph Completion

本文是LLM系列文章,针对《Exploring Large Language Models for Knowledge Graph Completion》的翻译。

探索用于知识图谱补全的大型语言模型

摘要

知识图谱在众多人工智能任务中发挥着至关重要的作用,但它们经常面临不完全性问题。在这项研究中,我们探索利用大型语言模型(LLM)来补全知识图谱。我们将知识图谱中的三元组视为文本序列,并引入了一个名为知识图谱LLM(KGLLM)的创新框架来对这些三元组进行建模。我们的技术使用三元组的实体和关系描述作为提示,并利用响应进行预测。在各种基准知识图谱上的实验表明,我们的方法在三重分类和关系预测等任务中取得了最先进的性能。我们还发现,微调相对较小的模型(例如,LLaMA-7B、ChatGLM6B)的性能优于最近的ChatGPT和GPT-4。

1 引言

2 相关工作

3 方法

4 实验

5 结论

在这项工作中,我们提出了一种新的KG补全方法,称为KG-LLM。我们的方法在KG补全任务(如三重分类和关系预测)中获得了最先进的性能。对于未来的工作,我们计划将我们的KG-LLM作为一个知识增强的语言模型应用于其他NLP任务,并结合KGs的结构信息。此外,我们将探索更有效的LLM的提示工程和上下文指令。

局限性

尽管我们的方法在使用LLM补全KG方面已经证明了有希望的结果,但

[arxiv论文阅读] LiDAR-LLM: Exploring the Potential of Large Language Models for 3D LiDAR Understanding 为一个语言建模问题,涵盖了3D字幕生成、3D定位、3D问答等任务。具体而言,由于缺乏3D LiDAR-文本配对数据,我们引入了一个三阶段的训练策略,并生成相关数据集,逐步将3D模态与LLMs的语言嵌入空间对齐。LiDAR-LLM在3D字幕生成任务上取得了40.9的BLEU-1,而在3D定位任务上实现了63.1%的分类准确率和14.3%的BEV mIoU。我们提出的LiDAR-LLM以3D LiDAR数据为输入,并将3D模态与语言嵌入空间对齐,充分利用LLM的卓越推理能力来理解户外3D场景。 阅读详情

相关推荐

视觉特征-自监督-同源不同crop视图一致性【2023-04】:DINOv2(无监督学习鲁棒视觉特征)【12 亿张互不重复的图像】【判别式自监督方法】【交叉熵损失+iBOT损失】

近期,自然语言处理领域在大量数据上进行模型 Pretraining 取得的突破,为计算机视觉中类似Foundation Model 的发展开辟了道路。这些模型能够生成通用视觉特征,即无需微调即可跨图像分布和任务发挥作用的特征,从而大幅简化图像在任何系统中的使用。本研究表明,现有的 Pretraining 方法,尤其是自监督方法,如果在来自多样化来源的充足精选数据上进行训练,便能够产生此类特征。我们重新审视了现有方法,并结合不同技术,从数据规模和模型规模两方面扩展我们的 Pretraining。

u013250861的博客 375

WAM-202601:LingBot-VA(用于机器人控制的因果世界建模)【自回归扩散框架:利用双流MoT架构将视频与动作统一到单个交错序列中(先预测视频再逆动力解动作)】【基于Wan2.2-5B】

Causal World Modeling for Robot Control用于机器人控制的因果世界建模摘要This work highlights that video world modeling, alongside vision-language pre-training, establishes a fresh and independent foundation for robot learning. Intuitively, video world models provide the ab

u013250861的博客 522

LLM推理优化实战:KV缓存管理与动态批处理深度解析

大语言模型推理不是简单调用API,而是涉及显存、延迟与稳定性三角权衡的系统工程。KV缓存作为自回归生成的状态载体,其管理效率直接决定吞吐与长文本质量;动态批处理则通过毫秒级请求调度,突破静态batch的延迟瓶颈。结合PagedAttention内存分页机制与AWQ量化部署,可在A100等主流硬件上实现高并发、低TTFT、强稳定性的工业级服务。本文聚焦vLLM引擎层实践,覆盖从CUDA kernel日志分析、block table调优到RoPE插值修复等真实落地环节,为算法工程师向LLM推理引擎理解者跃迁提供

weixin_30252709的博客 535

EXPLORING THE POTENTIAL OF LARGE LANGUAGE MODELS IN GRAPH GENERATION

大型语言模型(LLM)在许多领域都取得了巨大的成功,最近的工作研究了将LLM用于图判别任务(如节点分类)。然而,LLM生成图的能力在文献中仍未得到探索。图生成需要LLM生成具有给定属性的图,这在现实世界中具有宝贵的应用,如药物发现,但往往更具挑战性。在本文中,我们提出了LLM4GraphGen,通过系统的任务设计和广泛的实验来探索LLM生成图的能力。

c_cpp_csharp的专栏 333

Exploring the Limitations of Graph Reasoning in Large Language Models

经过预训练的大型语言模型仅通过基于语言的提示就展示了各种类型的推理能力。然而,在本文中,我们通过图推理的问题来测试5种不同LLM(GPT-4、GPT-3.5、Claude-2、Llama-2和Palm-2)的图推理深度。特别地,我们设计了10个不同的图遍历问题,每个问题都代表着不断增加的复杂性。此外,我们分析了模型在各种设置下的性能,如不同大小的图以及不同形式的kshot提示。

c_cpp_csharp的专栏 235

Knowledge Graph Large Language Model (KG-LLM) for Link Prediction

预测知识图谱(KG)中的多个链接是知识图谱分析领域的一个挑战,由于自然语言处理(NLP)和KG嵌入技术的进步,这一挑战越来越容易解决。本文介绍了一种新的方法,即知识图谱大型语言模型框架(KG-LLM),它利用了关键的NLP范式。我们使用我们的方法将结构化知识图谱数据转换为自然语言,然后使用这些自然语言提示来微调大型语言模型(LLM),以增强KGs中的多跳链接预测。通过将KG转换为自然语言提示,我们的框架旨在识别和学习实体的潜在表示及其相互关系。

c_cpp_csharp的专栏 509

Exploring the Potential of Large Language Models (LLMs) in Learning on Graphs

图学习由于其在现实世界中的广泛应用而引起了极大的关注。在具有文本节点属性的图上学习最流行的管道主要依赖于图神经网络(GNN),并利用浅文本嵌入作为初始节点表示,这在一般知识和深刻的语义理解方面具有局限性。近年来,大型语言模型(LLM)已被证明具有广泛的公共知识和强大的语义理解能力,这彻底改变了现有的处理文本数据的工作流程。在本文中,我们旨在探索LLM在图机器学习中的潜力,特别是在节点分类任务中,并研究两种可能的管道:LLM作为增强器和LLM作为预测器。

c_cpp_csharp的专栏 1391

LingBot-World 2.0:Infinite Worlds with Versatile Interactions

† 项目负责人Abstract摘要我们提出 LingBot-World 2.0(也称为 LingBot-World-Infinity),这是 LingBot-World 的一个高级迭代版本,具有四项显著升级。(1)我们的模型在保持稳定输出质量的同时,实现了无界的交互时域,这得益于精心设计的因果Pretraining 范式。(2)通过从基础模型中蒸馏出一个实时变体,我们的系统可保证快速响应时间,足以驱动720p、60fps的视频流。

u013250861的博客 160

基于语音合成引擎的TTS系统设计与实现

作者:禅与计算机程序设计艺术 Text-to-speech (TTS) 技术的目标就是通过计算机生成人类可理解的语言声音。常见的 TTS 产品如 Google 的谷歌 TTS、 Microsoft 的 Windows Narrator 等,均基于自然语言处理、机器学习和语音合成技术实现。本文主要研究基于语音合成引擎的 TTS 系统设计与实

AI天才研究院 4878

HDRP shader 获取阴影(Custom Pass)

Unity:2021.3.0f1 HDRP:12.1.6

LanQ的博客 2099

西门子828D/840DSL数控机床产量数据采集实战:一个C#程序员的踩坑与填坑记录

本文详细记录了C#程序员在西门子828D/840DSL数控机床产量数据采集实战中的经验与教训。从硬件连接到软件配置,再到数据读取与异常处理,文章分享了工业现场编程的特殊挑战和解决方案,特别是针对数控系统的TCP/IP通信、PLC变量地址映射及数据解析等关键技术点。

weixin_42741930的博客 596

ESP32-S3射频测试与全球认证全栈实践指南

功率谱密度(PSD)和发射功率等级是无线通信设备射频合规的核心基础概念,其物理层原理直接决定自适应测试、阻塞容限及多国认证的通过路径。PSD ≥10 dBm/MHz触发强制性自适应测试,需验证LBT机制与跳频鲁棒性;而16级可编程发射功率等级(-24 dBm至+20 dBm)则为功耗、覆盖与法规平衡提供工程调控维度。该能力广泛应用于低功耗蓝牙IoT终端、智能家居网关及工业无线传感器等场景,尤其在ESP32-S3平台中,需结合eFuse校准、Sigma工具链与QuickTrack认证策略实现从实验室调试到量产

weixin_34945060的博客 292

OpenClaw智能体应用第一集--飞书多智能体配置

本文介绍了智能体(Agent)的核心概念与配置实践。Agent作为独立作用域的"大脑",包含模型(认知引擎)、记忆系统(短期/长期记忆)、人设(角色定义)、工具(外部能力调用)、规划执行(任务拆解)、运行环境等核心要素。每个Agent拥有唯一agentId标识,通过accountId区分渠道账号,Binding机制实现消息路由。实践部分展示了通过命令行配置多个智能体(如writer)的过程,包括插件注册和工具加载。系统支持多Agent架构,可根据不同场景需求灵活配置专属智能体。

weixin_44626085的博客 1749

MobaXterm隧道配置详解:为PyCharm远程开发打通‘最后一公里’

本文详细解析了如何利用MobaXterm配置SSH隧道,实现PyCharm远程开发的高效连接。通过本地端口转发技术,开发者可以安全访问内网服务器,特别适用于需要通过跳板机的复杂网络环境。文章涵盖从基础配置到企业级运维的全套解决方案,包括性能优化、安全加固等实用技巧。

weixin_30566063的博客 506

FMT(基于rtthread)开源代码编译 win10下编译环境搭建及编译

FMT(基于rtthread)开源代码编译 win10下编译环境搭建及编译 什么是Firmament? Firmament (FMT) 是一款基于模型设计 (Model-Based-Design, MBD) 的开源自驾仪,可被用来快速构建无人机,无人车,无人船,机器人等平台的控制系统。 系统主要由两部分构成. FMT-Firmware: 一个基于C/C++开发的稳定、高性能的嵌入式系统. FMT-Model: 一个基于MATLAB/Simulink开发的仿真框架以及算法库. 昨天得知FMT开源飞控项目已经开

weixin_45786595的博客 2873

[工作流节点24] 外部用户审批的实现方式:让客户、供应商也能参与流程决策

摘要: 明道云支持通过三种方式实现外部用户审批:1)外部表单审批(推荐方案),通过公开表单让外部用户提交审批意见并自动触发流程;2)链接参数审批,通过含参数的URL实现一键确认;3)API/Webhook审批,适用于系统集成场景。三种方案均无需外部用户登录,支持记录操作日志和安全审计。典型应用包括客户确认报价、供应商发货确认等,实现内外流程无缝衔接。建议根据业务复杂度选择:无代码需求用外部表单,轻量审批用链接参数,系统对接用Webhook。

每日出拳老爷子的博客 348

coze 的插件输入飞书多维表格 app_token 后一直显示错误,如何解决?

🏆本文收录于《优快云问答解惑-专业版》专栏,主要记录项目实战过程中的Bug之前因后果及提供真实有效的解决方案,希望能够助你一臂之力,帮你早日登顶实现财富自由🚀;同时,欢迎大家关注&&收藏&&订阅!持续更新中,up!up!up!!

**My Coding Family** 2670

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

上一篇: Fine-tuning Large Enterprise Language Models via Ontological Reasoning
下一篇: Developing a Scalable Benchmark for Assessing Large Language Models in Knowledge Graph Engineering
UnknownBody
博客等级 码龄16年 5601粉丝 4744原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值