多模态RAG怎么做？读懂多模态RAG看这一篇就够了！-优快云博客

本文全面介绍多模态RAG技术，包括其框架、检索策略、融合机制、增强技术、生成方法和训练策略。通过分析OmniSearch框架和慕尼黑大学研究，展示了多模态RAG在处理复杂问题、提升检索效率方面的优势。研究表明，结合文本和图像的多模态RAG系统能显著提升性能，尤其在工业应用中表现突出。文章为程序员提供了从入门到精通的多模态RAG学习路径和技术指导。

一、多模态RAG综述

简介:《Ask in Any Modality: A Comprehensive Survey on Multimodal Retrieval-AugmentedGeneration》

多模态RAG步骤: 查询预处理、多模态数据库、检索策略(模态为中心)、融合机制、增强技术、生成阶段、训练策略。

1.创新点

提出了一个多模态RAG系统的通用框架。

并对多模态RAG系统进行了系统且全面的分析，涵盖了数据集、评估指标、基准测试、评估方法以及检索融合、增强和生成方面的创新

2.检索策略

检索策略是多模态RAG系统的核心部分，主要通过高效搜索和相似性检索来提升信息检索的准确性和效率。具体方法包括:

高效搜索和相似性检索: 使用最大内积搜索(MIPS)及其变体，如TPU-KNN、Scalable Nearest Neighbors(ScaNN)等，通过近似最近邻搜索提高检索速度。

模态中心检索: 根据模态特性优化检索效率，包括文本中心(如BM25、MiniLM)、视觉中心(如EchoSight、lmgRet)和视频中心(如iRAG、VideoRAG)的检索方法。

重排序和选择策略: 通过优化示例选择、改进相关性评分和应用过滤机制来提高检索质量。

例如，使用BERTScore、SSIM等多模态相似性度量进行重排序，以及通过硬负样本挖掘和共识过滤方法去除低质量数据。

3.融合机制

融合机制的目标是将来自不同模态的数据整合到统一的表示中，以支持跨模态推理。

主要方法包括:

分数融合与对齐: 通过将不同模态的数据转换为统一格式(如文本)或嵌入到共享语义空间中，实现模态间的对齐。

例如，使用CLIP Score或BLIP特征融合来衡量图像和文本的相关性。

基于注意力的机制: 动态加权跨模态交互，支持特定任务的推理。

例如，双流共注意力机制(如RAMM)和基于用户注意力的特征融合(如RAGTrans)。

统一框架和投影: 将多模态输入整合为连贯的表示。

例如，通过层次化交叉链和晚期融合处理医疗数据(如IRAMIG)，或通过将图像转换为文本描述以简化多模态输入(如SAM-RAG)。

4.增强技术

增强技术通过优化检索到的文档，提升多模态RAG系统的性能。主要方法包括:

上下文丰富化: 通过添加额外的上下文元素(如文本片段、图像标记或结构化数据)来增强检索到的知识，使其更适合生成任务。

例如，通过实体检索和查询重构来优化视觉问答(如MiRAG)。

自适应和迭代检索: 根据查询的复杂性动态调整检索过程。

例如，通过多轮检索策略逐步细化检索结果(如OMG-QA)，或通过反馈机制优化检索内容(如IRAMIG)。

5.生成方法

生成方法关注于提升多模态RAG系统的输出质量和连贯性。主要创新包括:

上下文学习(In-Context Learning): 利用检索到的内容作为少样本示例，增强模型的推理能力。

例如，通过检索相关驾驶经验来优化生成(如RAG-Driver)。

推理(Reasoning): 通过分解复杂推理任务为多个小步骤(如链式推理)，提升生成内容的逻辑性和准确性。

例如，通过多跳推理和证据整合来支持复杂问答(如RAGAR)。

指令调整(instruction Tuning): 针对特定任务调整生成模块，提升模型对指令的理解和执行能力。

例如，通过指令调整优化医学图像报告生成(如FactMM-RAG)

来源归因(Source Attribution): 确保生成内容能够追溯到具体的来源，提升系统的透明度和可信度。

例如，通过高亮显示支持证据的图像区域来归因(如VISA)。

6.训练策略

训练策略旨在优化多模态RAG系统的训练过程，提升模型的泛化能力和鲁棒性。主要方法包括：

对齐(Alignment): 通过对比学习(如InfONCE损失)优化多模态表示的对齐，确保正样本更接近、负样本更远离。

生成(Generation): 使用交叉熵损失训练自回归语言模型，或通过生成对抗网络(GAN)和扩散模型优化图像生成。

鲁棒性增强(Robustness): 通过注入噪声、使用硬负样本或知识蒸馏等方法，提升模型对噪声和错误数据的鲁棒性。

例如，通过Query Dropout增强生成器性能(如RA-CM3)

7.benchmark评估

8.数据集

二、多模态RAG

1.OmniSearch

简介: OmniSearch 是阿里巴巴通义实验室推出的一款多模态检索增强生成框架，具备自适应规划能力。

OmniSearch 能够动态拆解复杂问题，根据检索结果和问题情境调整检索策略，模拟人类在解决复杂问题时的行为方式，从而提升检索效率和准确性。

背景: 当面对动态复杂的问题时，传统多模态检索增强生成(RAG)技术往往表现出不足，比如无法适应实时变化的答案，或因检索方式僵化导致结果不够精准。

多模态RAG通过结合文本、图像等多种数据形式，为AI赋予了更强的知识获取能力。然而，现有系统仍面临两个主要问题:

非适应性检索问题: 传统RAG模型使用固定的检索流程，无法根据上下文或中间结果动态调整

检索负担过载: 单一检索查询常常包含多个模糊的检索需求，导致结果信息冗杂，关键内容反而被掩盖。

2.整体框架

Planning Agent(动态规划Agent)

每个计划的Action包括四个关键部分:自我思考、子问题、检索AP|、API查询""

a.在每一步中，Planning Agent都理解在自我思考中给出问题和现实世界的反馈，然后仔细确定后续行动要解决的子问题。

b.子问题所需的知识类型，调用不同的检索API。

c.以类似于人类认知过程的方式，在问题解决过程中，Planning Agent自主生成各种潜在动作，包括：

提出额外的问题以澄清检索内容中的模糊或冲突部分; 细化检索query以获取更多的补充知识; 修改措辞子问题; 验证对当前子问题的回答; 提出下一个子问题。

d.总结最终答案。

Sub-question Solver(子问题求解器)

总结检索到的内容，并相应地解决子问题，然后将求解器生成的反馈提供给Planning Agent。根据计算资源的不同，可以采用更大或更小尺寸的MLLM。

基于OmniSearch的VQA示例

user query: 图中的车价格是多少?

3.创新点

Dyn-VQA 数据集: 真实场景的复杂模拟

动态规划能力

a.动态规划能力: OmniSearch 能够将复杂问题分解为子问题，并根据中间检索结果实时调整检索策略。

例如，在回答汽车价格问题时，模型会先通过图像检索确定汽车品牌，然后针对品牌信息进一步检索具体价格数据。

b.多工具灵活调用: OmniSearch 集成了文本检索、图像检索等多种工具，并能够根据问题需求选择最优的检索方式。

例如，对于涉及视觉信息的问题，模型优先调用图像检索模块，而针对文本信息则使用语言模型进行解答。

c.模块化设计: OmniSearch 的模块化结构支持灵活扩展和跨领域应用。

例如，它可以结合任意多模态模型(如 GPT-4V、Qwen-VL)，同时通过"即插即用"的设计理念优化现有系统的动态问答表现。

4.与传统RAG对比

动态问答数据集: Dyn-VQA

为了评估多模态RAG技术在动态场景中的表现，阿里团队创建了一个全新的数据集一Dyn-VQA。该数据集包含三种类型的问题：

快速变化的答案: 如“某位明星最新的电影是什么?”，需要实时更新的知识。

需要多模态知识的问题: 如“这个球队的标志是什么物体?”，需要结合图像和文本信息。

多跳推理问题: 如“这两位演员谁的票房更高?”，需要分步推理并结合多来源信息。

Dyn-VQA 数据集不仅覆盖多个领域，还模拟了真实世界中的复杂场景，是现有数据集中极具挑战性的代表。

答案迅速改变的问题

答案需要多模态的知识

多跳问题(需要子任务拆解，多步推理)

5.效果评估

整体性能:

OmniSearch(GPT-4V)取得了显著的领先成绩，F1-Recall 达到 50.03，超越其他 MLLM 以及0商用生成式搜索引擎。

OmniSearch(Qwen-VL-Chat)的表现也优于大规模 GPT-4V 结合两步 mRAG 方法的结果，表明 OmniSearch 在复杂问题分解与检索负载降低方面的优势。

不同子问题求解器的影响:

当使用 GPT-4V 作为 Qwen-VL-Chat 的子问题求解器时，OmniSearch 的性能显著提升，证明0了更强大的子问题求解器对模型整体性能的正面影响。

在更复杂的调用策略中，针对多模态问题使用 GPT-4V，而针对纯文本问题使用 GPT-4，这种组合进一步提升了模型性能。

未来，可探索如子问题输出框信息以引导更精准检索的策略。

检索路径规划的作用:

实验显示，使用 OmniSearch 自身作为子问题求解器不仅没有降低性能，反而提高了其问题解决能力，表明检索路径规划学习增强了模型的知识推理能力，带来了跨任务的收益。

成本与性能的权衡:

替换子问题求解器(如将 GPT-4V 替换为 Qwen-VL-Chat)会导致性能下降约 7.9%，但成本降0低近一半。

结果表明，在资源有限的情况下，应优先确保检索规划模型采用更强大的基础模型。

商用搜索引擎不足:

商用生成式搜索引擎在 Dyn-VQA 上表现较弱，即使是表现最好的 Gemini，也仅与 GPT-4V 的。

两步 mRAG 方法持平。

进一步分析发现，这些引擎缺乏多模态信息整合能力，例如无法正确关联问题中的指代词与图像中的对象。

三、慕尼黑大学-多模态RAG

简介:《Beyond Text: Optimizing RAG with Multimodal Inputs for Industrial Applications》

背景: 当前，尽管针对纯文本 RAG 系统及其优化的研究已经十分广泛，但对于多模态 RAG 应用的研究却相对较少。

为此，本文将探索如何将多模态模型集成至RAG 系统中，即看一看结合图像和文本是否可以提高 RAG 的性能，并找出了这种系统的最佳配置。

多模态RAG系统作者构建了一个多模态RAG系统，该系统具备两种配置，一种是多模态嵌入和独立向量存储、图像摘要和联合向量存储。如下图所示:

1.研究方法

本文作者研究主要关注两个问题:

1)基于工业领域中的PDF文档，将单模态文本、单模态图像、文本+图像双模态放入RAG系统中，看一看文本+图像双模态是否能够提升RAG系统的性能?

2)如何优化多模态RAG系统?

为了回答这两个问题，本文作者首先选择了当前主流的两个多模态模型GPT4-Vision，LLaVA，然后手动标注了数据集和RAG系统测试集。

接着作者构建了一个多模态RAG系统(两种配置)，将文本和图像结合到一块儿。

最后作者按照RAG系统的6个评估指标进行实验对比。

2.benchmark

手动标注数据集使用了来自工业领域的 20 份 PDF 文档，例如用于可编程控制器、断路器和机器人等设备的手册和软件文档。

从这些文档中提取了文本和图像，共生成了 8540 个文本片段(每个片段平均长度为 225 个单词)和 8377 张图像，并按页对齐以确保上下文的准确性。

每条数据集是包含文本上下文、图像上下文、问题和答案的四元组。

RAG系统测试集手动标注了 100 对问答对。每个标注包含一个问题、参考答案以及用于检索相应文本和图像上下文的页码，从而形成多模态四元组。

问题设计旨在涵盖典型的工业任务，如操作程序、设备配置和故障排除，其中视觉上下文至关重要。

3.评估指标

答案正确性通过参考引导的成对比较来评估生成答案与参考答案的正确性，这是唯一依赖于存在真实答案的指标;

答案相关性评估生成答案与问题的相关性;

文本忠诚度衡量生成答案与检索到的文本上下文之间的一致性;

图像忠诚度评估生成答案与检索到的图像内容的符合程度;

文本上下文相关性评估检索到的文本上下文在回答问题时的相关性；

图像上下文相关性则评估检索到的图像与问题的相关性。

本文实验结果如下，可以发现结合文本和图像能够显著提升RAG系统的性能，尤其是在检索过程能够成功识别相关文本和图像时。

相比多模态嵌入，利用图像的文本摘要提供了更大的灵活性和优化空间，即多模态RAG系统采用图像摘要和联合向量存储架构会好一些。

学习AI大模型是一项系统工程，需要时间和持续的努力。但随着技术的发展和在线资源的丰富，零基础的小白也有很好的机会逐步学习和掌握。

文本上下文相关性评估检索到的文本上下文在回答问题时的相关性；

图像上下文相关性则评估检索到的图像与问题的相关性。

本文实验结果如下，可以发现结合文本和图像能够显著提升RAG系统的性能，尤其是在检索过程能够成功识别相关文本和图像时。

相比多模态嵌入，利用图像的文本摘要提供了更大的灵活性和优化空间，即多模态RAG系统采用图像摘要和联合向量存储架构会好一些。

可能大家都想学习AI大模型技术，也想通过这项技能真正达到升职加薪，就业或是副业的目的，但是不知道该如何开始学习_，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学。
为了帮助大家打破壁垒，快速了解大模型核心技术原理，学习相关大模型技术。从原理出发真正入局大模型。在这里我和MoPaaS魔泊云联合梳理打造了系统大模型学习脉络，这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码免费领取🆓**⬇️⬇️⬇️

在这里插入图片描述

【大模型全套视频教程】

教程从当下的市场现状和趋势出发，分析各个岗位人才需求，带你充分了解自身情况，get 到适合自己的 AI 大模型入门学习路线。

从基础的 prompt 工程入手，逐步深入到 Agents，其中更是详细介绍了 LLM 最重要的编程框架 LangChain。最后把微调与预训练进行了对比介绍与分析。

同时课程详细介绍了AI大模型技能图谱知识树，规划属于你自己的大模型学习路线，并且专门提前收集了大家对大模型常见的疑问，集中解答所有疑惑！

在这里插入图片描述

深耕 AI 领域技术专家带你快速入门大模型

跟着行业技术专家免费学习的机会非常难得，相信跟着学习下来能够对大模型有更加深刻的认知和理解，也能真正利用起大模型，从而“弯道超车”，实现职业跃迁！

在这里插入图片描述

【精选AI大模型权威PDF书籍/教程】

精心筛选的经典与前沿并重的电子书和教程合集，包含《深度学习》等一百多本书籍和讲义精要等材料。绝对是深入理解理论、夯实基础的不二之选。

在这里插入图片描述

【AI 大模型面试题】

除了 AI 入门课程，我还给大家准备了非常全面的**「AI 大模型面试题」，**包括字节、腾讯等一线大厂的 AI 岗面经分享、LLMs、Transformer、RAG 面试真题等，帮你在面试大模型工作中更快一步。

【大厂 AI 岗位面经分享（92份）】

【AI 大模型面试真题（102 道）】

【LLMs 面试真题（97 道）】

【640套 AI 大模型行业研究报告】

在这里插入图片描述

【AI大模型完整版学习路线图（2025版）】

明确学习方向，2025年 AI 要学什么，这一张图就够了！

👇👇点击下方卡片链接免费领取全部内容👇👇

在这里插入图片描述

抓住AI浪潮，重塑职业未来！

科技行业正处于深刻变革之中。英特尔等巨头近期进行结构性调整，缩减部分传统岗位，同时AI相关技术岗位（尤其是大模型方向）需求激增，已成为不争的事实。具备相关技能的人才在就业市场上正变得炙手可热。

行业趋势洞察：

转型加速： 传统IT岗位面临转型压力，拥抱AI技术成为关键。
人才争夺战： 拥有3-5年经验、扎实AI技术功底和真实项目经验的工程师，在头部大厂及明星AI企业中的薪资竞争力显著提升（部分核心岗位可达较高水平）。
门槛提高： “具备AI项目实操经验”正迅速成为简历筛选的重要标准，预计未来1-2年将成为普遍门槛。

与其观望，不如行动！

面对变革，主动学习、提升技能才是应对之道。掌握AI大模型核心原理、主流应用技术与项目实战经验，是抓住时代机遇、实现职业跃迁的关键一步。

在这里插入图片描述

01 为什么分享这份学习资料？

当前，我国在AI大模型领域的高质量人才供给仍显不足，行业亟需更多有志于此的专业力量加入。

因此，我们决定将这份精心整理的AI大模型学习资料，无偿分享给每一位真心渴望进入这个领域、愿意投入学习的伙伴！

我们希望能为你的学习之路提供一份助力。如果在学习过程中遇到技术问题，也欢迎交流探讨，我们乐于分享所知。

*02 这份资料的价值在哪里？*

专业背书，系统构建：

本资料由我与MoPaaS魔泊云的鲁为民博士共同整理。鲁博士拥有清华大学学士和美国加州理工学院博士学位，在人工智能领域造诣深厚：
- 在IEEE Transactions等顶级学术期刊及国际会议发表论文超过50篇。
- 拥有多项中美发明专利。
- 荣获吴文俊人工智能科学技术奖（中国人工智能领域重要奖项）。
目前，我有幸与鲁博士共同进行人工智能相关研究。

在这里插入图片描述

内容实用，循序渐进：

资料体系化覆盖了从基础概念入门到核心技术进阶的知识点。
包含丰富的视频教程与实战项目案例，强调动手实践能力。
无论你是初探AI领域的新手，还是已有一定技术基础希望深入大模型的学习者，这份资料都能为你提供系统性的学习路径和宝贵的实践参考，助力你提升技术能力，向大模型相关岗位转型发展。