基于多模态知识图谱的多模态推理-MR-MKG（非常详细）零基础入门到精通，收藏这一篇就够了

最新推荐文章于 2025-09-12 22:54:41 发布
原创 最新推荐文章于 2025-09-12 22:54:41 发布 · 1.4k 阅读 · 19 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#知识图谱 #mr #人工智能

MR-MKG论文中提出了一种新的多模态推理方法，即利用多模态知识图（Multimodal Knowledge Graph, MMKG）进行多模态推理的方法。这种方法旨在通过从MMKG中学习，扩展大型语言模型（LLMs）的多模态知识。

1 三个模块

MR-MKG方法主要包含以下三个模块，分别处理不同的模态信息：

  1. 文本编码(Language Encoder)：将问题文本进行嵌入得到表征，随后将其输入LLMs以提供指导和指令。

  2. MMKG编码(KG Encoder)：使用关系图注意网络（Relation Graph Attention Network, RGAT）对检索到的MMKG子网络进行编码，生成能够捕捉复杂图结构的知识节点嵌入。

  3. 视觉图片编码(CLIP):利用CLIP将实体相关的图片信息进行嵌入得到图片的嵌入向量表示。

2 三个步骤

通过上述三个模块获得相应模态的特征表示之后，在进行下面几个步骤：

  1. 跨模态适配©：设计知识和视觉适配层，以跨越模态之间的差距，分别将知识节点嵌入和视觉图片嵌入映射到LLMs的文本嵌入中。

  2. 跨模态对齐(Alignment loss)：引入新的跨模态对齐模块，通过MMKG内的匹配任务优化图像-文本对齐。

  3. 指令微调训练(Generative loss)：在自定义的MMKG数据集上对MR-MKG进行微调训练，该数据集通过将每个VQA实例与相应的MMKG匹配构建，包含回答问题所需的基本知识。

3 结语

MR-MKG方法通过利用MMKG中的丰富知识（图像、文本和知识三元组），显著增强了LLMs的多模态推理能力，展示了其在多模态问答和类比推理任务上的有效性和优势。

论文题目：Multimodal Reasoning with Multimodal Knowledge Graph

论文链接：https://arxiv.org/abs/2406.02030

AI大模型学习福利

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

2024最新版优快云大礼包：《AGI大模型学习资源包》免费分享

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

img
因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

2024最新版优快云大礼包：《AGI大模型学习资源包》免费分享

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

img

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

2024最新版优快云大礼包：《AGI大模型学习资源包》免费分享

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img
因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

2024最新版优快云大礼包：《AGI大模型学习资源包》免费分享

四、AI大模型商业化落地方案

img

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

2024最新版优快云大礼包：《AGI大模型学习资源包》免费分享

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。

Ludwig:一个用于训练和测试深度学习模型的无代码平台-开源
04-29
Ludwig是在TensorFlow之上构建的工具箱，无需编写代码即可训练和测试深度学习模型。 您只需要提供一个CSV文件，其中包含您的数据，一列用作输入的列以及一列用作输出的列，其余的将由Ludwig完成。 简单的命令可用于在本地和分布式方式训练模型，并使用它们来预测新数据。
零基础入门多模态学习PPT
12-29
内容概要：本文档是一份面向零基础的学习笔记，详细介绍了多模态模型的基础理论和技术要点，主要包括以下几个方面：初识Transformer和NLP基础，深入讲解Vision Transformer (ViT)的工作原理及其代码实现；详细介绍...
大模型开发入门必读资料（非常详细）收藏这一篇就够了
leah126的博客
05-25 1600
随着 GPT 的爆红，“AI 大模型” 已成为技术圈最火的话题。华为、阿里、腾讯、字节等大厂纷纷加大对 AI 技术和市场的投资，许多 AI 创业公司也如雨后春笋般涌现。这些公司都在以高薪资争夺 AI 大模型人才。作为普通工程师，我们要及时抓住机会，才能享受 AI 技术带来的红利。要抓住这些机会，首先需要掌握扎实的技术。现在向大家推荐一本书：《大规模语言模型：从理论到实践》。这本书从理论到实战，带领读者一步步实现大模型，是你提升技能、迈向 AI 大模型领域的绝佳指南。
多模态知识图谱入门到精通：构建与应用全解析，收藏这篇就够了！
xx_nm98的博客
09-12 1146
近年来，以知识图的快速增长为特征的知识工程重新兴起。然而，大多数现有的知识图都是用**纯符号**表示的，这损害了机器理解现实世界的能力。**多模态知识图(MMKGs)**是实现人类水平的机器智能不可避免的关键一步。本文对文本和图像构建的MMKGs进行了研究，首先给出了MMKGs的定义，然后对多模态任务和技术进行了初步探讨。然后，我们系统地回顾了MMKGs的建设和应用所面临的挑战、进展和机遇，并详细分 析了不同解决方案的优缺点。我们以与MMKGs相关的开放研究问题来完成这项调查。
大模型训练平台建设（非常详细）零基础入门到精通，收藏这一篇就够了
leah126的博客
07-22 4303
本文旨在系统性建设大型模型训练平台的思路，从大模型训练平台等建设节奏、系统层次架构、算法训练流程、模型管理和应用等方面介绍构建大模型训练平台的思考过程。本文虽然无法涵盖所有的方方面面，但重点介绍大型模型平台的建设思路和相关注意事项。后续将持续分享大规模模型针对实际情况的实现和相关技术选型的思考。
大模型：2024开源项目汇总
z099164的博客
07-26 2967
当大模型成本逐渐降低，可靠性提升后，这意味着越来越多的业务应用将会与 LLM 结合，为了让这种结合更加顺畅，需要有与现有来支撑 LLM 应用开发的快速开发应用构建工具: 插件中心, 流程编排, Prompt工程, RAG, Agent模型开发工具: 训练数据管理, 模型调优, 模型评测, 模型部署对比说明可参考：**2.1 Dify：**开源的 LLM 应用开发平台。其直观的界面结合了 AI 工作流、RAG 、Agent、模型管理、可观测性功能等，让您可以快速从原型到生产。
国内加载流畅的AI模型训练平台 【Swanlab快速入门】
2401_85578645的博客
06-17 4277
SwanLab是一款开源、轻量级的AI实验跟踪工具，提供了一个跟踪、比较、和协作实验的平台，旨在加速AI研发团队100倍的研发效率。其提供了友好的API和漂亮的界面，结合了超参数跟踪、指标记录、在线协作、实验链接分享、实时消息通知等功能，让您可以快速跟踪ML实验、可视化过程、分享给同伴。借助SwanLab，科研人员可以沉淀自己的每一次训练经验，与合作者无缝地交流和协作，机器学习工程师可以更快地开发可用于生产的模型。
基于多模态知识图谱的多模态推理-MR-MKG
Hanscal
06-28 1386
MR-MKG方法通过利用MMKG中的丰富知识（图像、文本和知识三元组），显著增强了LLMs的多模态推理能力，展示了其在多模态问答和类比推理任务上的有效性和优势。论文题目：Multimodal Reasoning with Multimodal Knowledge Graph论文链接：https://arxiv.org/abs/2406.02030PS: 欢迎大家扫码关注公众号，我们一起在AI的世界中探索前行，期待共同进步！
多模态大模型入门指南（非常详细）零基础入门到精通，收藏这一篇就够了
Hacker_doggy的博客
07-17 4302
如表1所示，对26 SOTA MM-LLMs的架构和训练数据集规模进行了全面比较。随后，简要介绍这些模型的核心贡献并总结了它们的发展趋势。代表了一系列视觉语言 (VL) 模型，旨在处理交错的视觉数据和文本，生成自由格式的文本作为输出。(2)BLIP-2引入了一个资源效率更高的框架，包括用于弥补模态差距的轻量级 Q-Former ，实现对冻结 LLMs 的充分利用。利用 LLMs，BLIP-2 可以使用自然语言提示进行零样本图像到文本的生成。(3)LLaVA。
Multi-Modal Knowledge Graph（多模态知识图谱）
热门推荐
nakaizura
02-17 2万+
本篇博文梳理一篇knowledge-based方向的文章，结合了多模态知识的多模态知识图谱。来自复旦大学。知识图谱本质上是一个以实体、概念为节点、以概念之间的各种语义关系为边的大规模语义网络。知识图谱在现实生活中广泛应用，包括文本理解、推荐系.
Oumi开源模型训练平台-mac尝试
04-01 283
Oumi是一个完全开源的平台，可以简化基础模型的整个生命周期——从数据准备和培训到评估和部署。无论您是在笔记本电脑上开发，在集群上启动大规模实验，还是在生产中部署模型，Oumi都能提供您需要的工具和工作流程。🚀使用最先进的技术（SFT、LoRA、QLoRA、DPO等）将模型从10M到405B参数进行训练和微调。🌎在任何地方运行——从笔记本电脑到集群再到云（AWS、Azure、GCP、Lambda等）🤖使用文本和多模态模型（Llama、DeepSeek、Qwen、Phi等）📊跨标准基准全面评估模型。
开源NLP训练平台搭建：模型版本控制实践
AI智能探索者的博客
06-30 1105
在NLP项目开发中，模型迭代频繁，参数、训练数据和模型权重经常变化，传统代码版本控制系统无法有效管理这些大文件。本文旨在提供一个完整的开源解决方案，帮助团队实现NLP模型的版本控制、协作开发和可复现性。核心概念与需求分析技术选型与比较系统架构设计具体实现步骤实际应用案例最佳实践与未来展望模型版本控制：跟踪和管理模型及其相关组件（代码、数据、参数、权重）变更的系统MLOps：机器学习运维，将DevOps实践应用于机器学习系统模型注册表：存储、管理和部署机器学习模型的中央存储库。
FastMoE开源分布式MoE模型训练系统
朝闻道
01-23 1295
公众号：系统之神与我同在 FastMoE开源分布式MoE模型训练系统 本文分为三部分： 回顾MOE的发展历程 FastMOE的框架设计 FastMOE v0.2的特性 预训练模型的发展趋势:规模越来越大 MOE结构：扩充模型容量的新途径训 MoE的发展历史 图解（巧妙地运用数据并行来构建MOE专家池）解 图解（T5+MoE） MOE模型研究前沿 使用pytorch和MoE训练您的MOE网络 FastMoE的并行模式 FastMOE的实战成果 FastMOE v0.2 开源分布式MOE模型训
Firefly: 一站式大模型训练工具
sagima_sdu的博客
03-12 3934
Firefly是一个开源的大模型训练项目，支持对主流的大模型进行预训练、指令微调和DPO，包括但不限于Gemma、Qwen1.5、MiniCPM、Llama、InternLM、Baichuan、ChatGLM、Yi、Deepseek、Qwen、Orion、Ziya、Xverse、Mistral、Mixtral-8x7B、Zephyr、Vicuna、Bloom等。本项目支持全量参数训练、LoRA、QLoRA高效训练，支持预训练、SFT、DPO。
更全更快更强！HetuMoE开源：万亿大模型MoE训练系统
南七小僧的学海无涯
04-29 1312
来自于Google的Switch Transformer和GShard，根据Gate网络计算结果，将token分配给打分最高的一个/两个expert。2. Top k来自于Google，根据Gate网络计算结果，将token分配给前k个打分最高的expert。图5. Google Top k Gate示意图3. k Top 1来自于阿里巴巴M6，将experts分为k组，将token分配给每组打分最高的expert。图5. 阿里巴巴M6中的k Top 1 Gate示意图。
Web安全和渗透测试有什么关系？
Python_0011的博客
03-31 3858
做渗透测试的一个环节就是测试web安全，需要明白漏洞产生原理，通过信息收集互联网暴露面，进行漏洞扫描，漏洞利用，必要时进行脚本自编写和手工测试，力求挖出目标存在的漏洞并提出整改建议，当然如果技术再精一些，还要学习内网渗透（工作组和域环境），白盒审计，app，小程序渗透那些了......可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。当然除了有配套的视频，同时也为大家整理了各种文档和书籍资料&工具，并且已经帮大家分好类了。总之，web安全包含于渗透测试，但不是渗透测试的全部。
AI 大模型训练平台
这里有最新的AI应用资讯，这里有最全的AI应用体验场景.
05-07 500
利用数据挖掘、自然语言处理中的正则匹配、文本去重等技术，对收集的专家知识库、专业标准、知识、逻辑机理、运维经验与运行数据等资料进行冗余字符过滤、重复值删除等处理，提升整体预料质量。基于预训练模型微调和评估技术，研究通过对预训练模型的参数调优、评估等过程，实现调速系统AI人工智能专业小模型构建。基于已训练模型的推理反馈数据，通过构建奖励学习模型，训练强化学习策略，微调模型的过程实现 AI 大模型的优化。3.模型微调和评估技术。2.指令数据构建技术。
LiBai：大规模开源模型训练工具箱
gitblog_00322的博客
09-14 983
LiBai：大规模开源模型训练工具箱 项目介绍 LiBai 是一个基于 OneFlow 的大规模开源模型训练工具箱。它支持多种并行训练组件，包括数据并行、张量并行和流水线并行，并且易于扩展以支持新的并行模式。LiBai 不仅提供了丰富的训练技术，如分布式训练、混合精度训练、激活检查点、重计算、梯度累积和零冗余优化器（ZeRO），还支持计算机视觉（CV）和自然语言处理（NLP）任务。此外，LiBai...
多模态知识图谱推理中的Transformer-agnostic，Transformer-based
最新发布
10-11
<think>首先，用户的问题是：“多模态知识图谱推理中的Transformer-agnostic，Transformer-based”。这是一个中文问题，我需要用中文回答。 关键点是：用户列出了“Transformer-agnostic”和“Transformer-based”，这是在讨论多模态知识图谱推理中的两种方法。 根据之前的对话模式，我需要在回答中详细解释这些概念，然后提出3-5个相关问题。 回顾规则： - 回答完问题后，必须提出3-5个相关问题。 - 第一行必须是“§§相关问题§§”。 - 禁止换行分散；相关问题必须在一个块中输出。 - 必须基于用户的问题和我的回答提出问题。 示例格式显示，回答包括一个主题解释（如快速排序），可能包含代码块，然后是“§§相关问题§§”后跟编号列表。 在我的上一个回答中，我讨论了时序知识图谱推理方法，包括RNN-based等，并提供了代码示例和问题。 现在，主题是“多模态知识图谱推理”，涉及Transformer-agnostic和Transformer-based方法。 我需要定义和解释： - **Transformer-based**：使用Transformer模型来处理多模态数据（文本、图像等），例如ViLT或CLIP，其中Transformer作为核心架构整合多种模态。 - **Transformer-agnostic**：指不依赖于Transformer架构的其他方法，比如基于图神经网络（GNN）、循环神经网络（RNN）或其他模型来处理多模态知识图谱。 结构我的回答： 1. 简要介绍多模态知识图谱推理。 2. 详细解释Transformer-based方法。 3. 详细解释Transformer-agnostic方法。 4. 可能添加代码示例来示例化这些方法（类似于先前回答）。 5. 然后以“§§相关问题§§”开头，后跟3-5个相关问题。 代码示例：为了符合格式，我应该包括一个简单的代码块来演示一个方法。例如，一个基于Transformer的多模态模型或一个agnostic方法的伪代码。 确保回答是中文。 大纲： - 标题或开头：多模态知识图谱推理方法解析。 - 对每种方法： - 核心思想 - 优势 - 局限性 - 代码示例（如果适用） 最后，相关问题基于我的解释。相关问题应启发进一步思考。 可能的解释： - **Transformer-based**： - 核心思想：使用Transformer架构（如BERT、ViT）来处理文本、图像等模态，通过注意力机制融合信息。 - 优势：强大的表示能力，能捕捉长距离依赖；适合大规模数据。 - 局限性：计算资源密集；对数据量和质量敏感。 - 代码示例：一个简单的PyTorch或TensorFlow代码块显示一个Transformer模型用于多模态输入。 - **Transformer-agnostic**： - 核心思想：使用非Transformer模型，如GNNs、Graph Convolutional Networks (GCNs)，或传统机器学习方法，来处理多模态数据，而不依赖Transformer。 - 优势：可能更高效；在某些场景下可解释性更好；较少资源需求。 - 局限性：可能不如Transformer在捕捉复杂模式上有效；需要定制设计。 - 代码示例：一个GNN或CNN的代码块。 相关问题：提出3-5个。基于回答，比如： 1. Transformer-based方法如何处理不同模态的异构性？ 2. 在Transformer-agnostic方法中，有哪些常见的模型替代Transformer？ 3. 如何评估多模态知识图谱推理模型的性能？ 4. 这些方法在实际应用中的挑战是什么？ 5. 如何集成Transformer-based和Transformer-agnostic方法以提升推理效果？ 确保总问题数在3-5个之间。 输出格式： - 回答内容。 - 然后“§§相关问题§§”作为第一行。 - 编号列表如“1. ... 2. ...” 最后，以“§§相关问题§§”开头的问题部分。 </think>### 多模态知识图谱推理方法解析 多模态知识图谱涉及融合文本、图像、音频等多种模态数据，以实现更全面的推理。以下是两种核心方法的详细说明： #### 1. **Transformer-based（基于Transformer）** 使用Transformer架构（如BERT或ViT）作为核心模型，通过自注意力机制整合和推理多模态信息。 - **核心思想**：将不同模态的嵌入（e.g., 文本嵌入和图像嵌入）输入Transformer层，利用交叉注意力学习模态间交互（如CLIP模型对齐图文）。 - **优势**：强大的表示能力，能处理长序列依赖；适合大规模多模态数据融合。 - **局限性**：计算资源消耗大；对数据对齐质量敏感。 - 代码示例： ```python import torch from transformers import BertModel, ViTModel def transformer_based_inference(text_input, image_input): # 加载预训练Transformer模型 text_model = BertModel.from_pretrained('bert-base-uncased') image_model = ViTModel.from_pretrained('google/vit-base-patch16-224') # 模态嵌入融合 text_emb = text_model(text_input).last_hidden_state image_emb = image_model(image_input).last_hidden_state # 使用交叉注意力学习交互 combined = torch.cat([text_emb, image_emb], dim=1) output = torch.nn.Linear(combined.shape[-1], 1)(combined) # 输出推理得分 return output.sigmoid() # 预测关系概率 ``` #### 2. **Transformer-agnostic（与Transformer无关）** 采用非Transformer模型（如GNN或CNN）处理多模态数据，避免Transformer的计算开销。 - **核心思想**：设计模态无关的架构（e.g., 图神经网络GNN聚合节点信息），或使用传统方法（如多模态特征拼接+分类器）。 - **优势**：计算效率高；可解释性强；适合资源受限场景。 - **局限性**：模态融合能力较弱；需要手动设计特征交互。 - 代码示例： ```python import torch import torch_geometric as tg def transformer_agnostic_inference(graph_data): # 使用GNN处理多模态知识图谱 class GNNModel(torch.nn.Module): def __init__(self): super().__init__() self.conv1 = tg.nn.GCNConv(in_channels=128, out_channels=64) self.conv2 = tg.nn.GCNConv(in_channels=64, out_channels=1) def forward(self, x, edge_index): x = self.conv1(x, edge_index).relu() return self.conv2(x, edge_index).sigmoid() model = GNNModel() return model(graph_data.x, graph_data.edge_index) # 输出节点推理结果 ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值