我爱计算机视觉 | ACL 2024 | 剑桥大学团队开源：赋能多模态大模型RAG应用，首个预训练通用多模态后期交互知识检索器

本文来源公众号“我爱计算机视觉”，仅用于学术分享，侵权删，干货满满。

原文链接：ACL 2024 | 剑桥大学团队开源：赋能多模态大模型RAG应用，首个预训练通用多模态后期交互知识检索器

本篇分享 ACL 2024 论文PreFLMR: Scaling Up Fine-Grained Late-Interaction Multi-modal Retrievers，由剑桥大学团队开源，赋能多模态大模型 RAG 应用，首个预训练通用多模态后期交互知识检索器。

• 论文链接：https://arxiv.org/abs/2402.08327

• 项目主页：https://preflmr.github.io/

简介

PreFLMR模型是一个通用的预训练多模态知识检索器，可用于搭建多模态RAG应用。模型基于发表于 NeurIPS 2023 的 Fine-grained Late-interaction Multi-modal Retriever (FLMR) 并进行了模型改进和 M2KR 上的大规模预训练。目前训练数据、预训练权重、微调代码等均已开源。该模型已在企业级RAG应用成功落地。作者团队将在8月10日-17日参加ACL 2024，欢迎学术交流和商业合作。

背景

尽管多模态大模型（例如GPT4-Vision、Gemini等）展现出了强大的通用图文理解能力，它们在回答需要专业知识的问题时表现依然不尽人意。即使GPT4-Vision也无法回答知识密集型问题（图一上），这成为了很多企业级落地应用的瓶颈。