PreFLMR：赋能多模态大模型RAG应用

最新推荐文章于 2025-04-30 11:24:46 发布
最新推荐文章于 2025-04-30 11:24:46 发布
阅读量1.2k 收藏 12
点赞数 9
CC 4.0 BY-SA版权
文章标签： 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lichunericli/article/details/138425557
PreFLMR是剑桥大学信息工程系人工智能实验室开源的预训练多模态知识检索器，它改进了FLMR结构，并在M2KR上进行了大规模预训练。该模型能提升多模态大模型在知识密集型任务中的表现，通过细粒度后期交互处理图文信息，提高了检索效率和准确性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

PreFLMR模型是一个通用的预训练多模态知识检索器，可用于搭建多模态RAG应用。模型基于发表于 NeurIPS 2023 的 Fine-grained Late-interaction Multi-modal Retriever (FLMR) 并进行了模型改进和 M2KR 上的大规模预训练。

  • 论文链接：https://arxiv.org/abs/2402.08327

  • DEMO 链接：https://u60544-b8d4-53eaa55d.westx.seetacloud.com:8443/

  • 项目主页链接：https://preflmr.github.io/

  • 论文标题：PreFLMR: Scaling Up Fine-Grained Late-Interaction Multi-modal Retrievers

背景

尽管多模态大模型（例如 GPT4-Vision、Gemini 等）展现出了强大的通用图文理解能力，它们在回答需要专业知识的问题时表现依然不尽人意。即使 GPT4-Vision 也无法回答知识密集型问题（图一上），这成为了很多企业级落地应用的瓶颈。

图片

图 1：GPT4-Vision 在 PreFLMR 多模态知识检索器的帮助下可以获得相关知识，生成正确的答案。图中展示了模型的真实输出。

针对这个问题，检索增强生成（RAG，Retrieval-Augmented Generation）提供了一个简单有效的让多模态大模型成为” 领域专家” 的方案：首先，一个轻量的知识检索器（Knowledge Retriever）

最低0.47元/天 解锁文章

200万优质内容无限畅学
lichunericli
关注
大模型应用—大模型赋能搜索
07-22 4万+
搜索，你将找到。但有了AI驱动的搜索，你将找到、学习并发现。🔍 你使用AI驱动的搜索吗？
斯坦福联合Meta提出多模态模型RA-CM3，检索增强机制或成文本图像领域新制胜法宝
TechBeat人工智能社区博客
12-22 1115
一种基于检索增强的（Retrieval-Augmented）多模态模型RA-CM3
PreFLMR
whaosoft143ai的博客
03-25 358
这样，每个 token 的表征都可以显式地影响最终的相关性，以此保留了 token-level 的细粒度（fine-grained）信息。PreFLMR 让 RAG 更加有效：在知识密集型视觉问答任务上，使用 PreFLMR 进行检索增强大大提高了最终系统的表现：在 Infoseek 和 EVQA 上分别达到了 94% 和 275% 的效果提升，经过简单的微调，基于 BLIP-2 的模型能够击败千亿参数量的 PALI-X 模型和使用 Google API 进行增强的 PaLM-Bison+Lens 系统。
使用CLIP和LLM构建多模态RAG系统
deephub
01-11 6622
在人工智能领域，检索增强生成(retrieve - augmented Generation, RAG)作为一种变革性技术改进了大型语言模型(Large Language Models)的能力。从本质上讲，RAG通过允许模型从外部源动态检索实时信息来增强AI响应的特异性。该体系结构将生成能力与动态检索过程无缝结合，使人工智能能够适应不同领域中不断变化的信息。与微调和再训练不同，RAG提供了一种经济高效的解决方案，允许人工智能在不改变整个模型的情况下能够得到最新和相关的信息。
多模态 RAG实现
2301_82275412的博客
07-30 1526
在我们深入讨论多模 RAG 之前，让我们简要地回顾一下传统的检索增强生成（RAG）。基本上，RAG 的理念是找到与用户查询相关的信息，然后将该信息注入到提示中，并将其传递给语言模型。RAG 系统的检索通常是语义相关的，因为使用了“嵌入”。基本上，embedding嵌入使我们可以将 AI 模型将信息转换为某种表示该信息的向量。这个过程是通过一组参考文档以及用户的查询来完成的。可以计算这些向量之间的距离，最接近文档和用户查询之间的距离被认为是最相关的。
基于多向量检索器的多模态 RAG 实现
tigerinus的博客
10-26 3019
使用 LangChain 多向量检索器（Multi-Vector Retriever）结合多模态大语言模型对多内容类型的文档实现更好的 RAG 效果
我爱计算机视觉 | ACL 2024 | 剑桥大学团队开源：赋能多模态大模型RAG应用，首个预训练通用多模态后期交互知识检索器
csdn_xmj的博客
08-15 1376
PreFLMR模型是一个通用的预训练多模态知识检索器，可用于搭建多模态RAG应用。模型基于发表于 NeurIPS 2023 的 Fine-grained Late-interaction Multi-modal Retriever (FLMR) 并进行了模型改进和 M2KR 上的大规模预训练。目前训练数据、预训练权重、微调代码等均已开源。该模型已在企业级RAG应用成功落地。作者团队将在8月10日-17日参加ACL 2024，欢迎学术交流和商业合作。
【剑桥 | 发布多模态检索器，赋能多模态大模型RAG应用】_preflmr
mama19971023的博客
07-15 1089
PreFLMR模型是一个通用的预训练多模态知识检索器，可用于搭建多模态RAG应用。模型基于发表于 NeurIPS 2023 的 Fine-grained Late-interaction Multi-modal Retriever (FLMR) 并进行了模型改进和 M2KR 上的大规模预训练。尽管多模态大模型（例如 GPT4-Vision、Gemini 等）展现出了强大的通用图文理解能力，它们在回答需要专业知识的问题时表现依然不尽人意。
【剑桥 | 发布多模态检索器，赋能多模态大模型RAG应用】
lhx17673139267的博客
07-08 1128
PreFLMR模型是一个通用的预训练多模态知识检索器，可用于搭建多模态RAG应用。模型基于发表于 NeurIPS 2023 的 Fine-grained Late-interaction Multi-modal Retriever (FLMR) 并进行了模型改进和 M2KR 上的大规模预训练。尽管多模态大模型（例如 GPT4-Vision、Gemini 等）展现出了强大的通用图文理解能力，它们在回答需要专业知识的问题时表现依然不尽人意。
LLM:多模态RAG
qq_43814415的博客
07-29 604
背景：图像模型在特殊业务场景下幻觉严重。2.图像文本 rag。
多模态RAG架构：融合文本、图像与音频以提升AI生成能力
youmaob的博客
04-02 1525
随着大模型在文本生成任务中取得显著成果，企业和研究者逐渐将目光转向更复杂的多模态任务场景，如图文问答、语音搜索、视频分析等，传统基于文本的检索增强生成（RAG）系统已经无法满足这些多样化需求，因此为了实现对图像、音频等非结构化数据的统一理解与利用，多模态RAG应运而生。RAG将检索器与生成器组合起来：在文本领域，RAG有效缓解了大模型的“幻觉”（Hallucination）问题，弥补了模型内部知识更新的不足，但在更复杂的实际业务中，用户提出的问题可能涉及图像内容、语音输入等，仅依赖文本检索已难以胜任，因此引
多模态检索增强生成
专注于人工智能领域的小何尚
12-16 1026
想要了解有关 NIM 的更多信息？，即可免费访问任何基础设施云、数据中心或个人工作站上最多 16 个 GPU 上的自托管 NVIDIA NIM 和微服务。加入免费的 NVIDIA 开发者计划后，您可以随时通过 NVIDIA API 目录访问 NIM。要获得企业级安全性、支持和 API 稳定性，请选择通过我们的免费 90 天 NVIDIA AI Enterprise 试用版使用企业电子邮件地址访问 NIM 的选项。如果。
多模态RAG：解读检索、重排、精炼三大关键技术
最新发布
2401_85327249的博客
04-30 841
多模态检索的三个关键组件包括：检索器(retriever)、重排序器(reranker)和精炼器(refiner)。
多模态RAG实现
新缸中之脑
10-02 1794
ColPali 是一种基于视觉语言模型 (VLM) 的新型模型架构和训练策略的模型，可有效地根据文档的视觉特征对其进行索引。它是的扩展，可生成文本和图像的ColBERT样式多向量表示。它在论文《ColPali：使用视觉语言模型进行高效文档检索》中进行了介绍在 RAG 系统中，它用作视觉检索器：ColPali 的一项关键创新是将图像块映射到与文本相似的潜在空间中。它使用 COLBERT 策略解锁文本和图像之间的有效交互。多向量表示和后期交互评分可提高检索性能。
多模态RAG：结合文本、图像和视频的信息检索
chenwr_727的博客
09-12 1703
多模态 RAG 是指在传统 RAG 的基础上，扩展其信息检索和生成能力，不仅限于文本，还可以处理图像、视频、音频等多模态数据。通过多模态融合，系统可以从多样化的输入中提取关键信息，从而生成更加全面、丰富的答案或内容。
构建开源多模态RAG系统
人工智能讲师分享前沿技术
06-24 1083
1. 增强的准确性和可靠性：RAG通过将大型语言模型（LLMs）重定向到权威的知识来源，解决了其不可预测性的问题。RAG引入了透明度，使组织能够对生成的文本输出拥有更大的控制权，解决了关于偏见、可靠性和合规性的担忧。为了解决这个限制，多模态模型结合了不同的模态，使得对多样化的数据有更全面的理解。多模态大型语言模型（MLLM）代表了自然语言处理中的一个范式转变，超越了传统的基于文本的方法。6. 什么是多模态？大型语言模型，如GPT-3，擅长生成类似人类的语言，但在提供最新或特定领域的信息方面存在限制。
14-53 剑和诗人27 - 多模态RAG（MMRAG)
ms44的专栏
07-08 1300
多模态机器学习正在彻底改变 AI 系统的功能。通过理解图像、音频、视频和文本等不同模态，这些系统可以解决以前机器无法解决的问题。让我们探索该领域的一项激动人心的发展——多模态检索增强生成 (MM-RAG)——以及向量数据库如何使我们能够构建由多模态嵌入驱动的实用应用程序，以实现任意对任意的搜索和检索。我们首先会介绍对比学习，这是一种训练高质量多模态嵌入的技术。然后，我们会讨论这些嵌入如何支持跨模态的任意对任意搜索。接下来，我们会深入研究 MM-RAG，看看检索相关的多模态上下文如何显著改善文本生成。
【RAG】一篇文章介绍多模态RAG（MRAG）
DawnAurora_的博客
04-22 722
随着大语言模型（LLMs）的广泛应用，其在处理复杂任务时暴露出如产生幻觉、算术能力不足和缺乏可解释性等问题。多模态学习的兴起为解决这些问题提供了新方向，通过融合图像、文本、音频等多种模态信息，能提升模型对世界的理解和交互能力。检索增强生成（RAG）技术结合了语言模型和信息检索技术，通过检索外部知识来指导文本生成，已成为增强模型能力的重要手段。在此背景下，多模态检索增强生成（MRAG）应运而生，旨在进一步拓展RAG技术，使其能处理和利用多种模态的知识，以应对当前人工智能发展中的挑战，如提高生成内容的真实性、增
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值