【多模态基础模型与具身智能】19 多模态RAG与跨模态检索增强：非文本知识库的索引、度量与重排序

多模态RAG与跨模态检索增强：非文本知识库的索引、度量与重排序

目标导向：掌握图像、音频、3D 等非文本知识库的检索增强生成原理；推导跨模态相似性度量的数学形式与重排序策略的理论边界；建立从编码到融合的全链路认知框架。全文以中文成段讲述为主，仅在必要处给出关键公式。

---

1. 问题背景与核心挑战

1.1 从文本RAG到多模态RAG的范式跃迁

传统检索增强生成（RAG）将外部文本知识库作为 LLM 的上下文补充，有效缓解了幻觉与知识过时问题。然而真实世界的知识载体远不止文本——医学影像、工业设计图、三维模型、语音指令、视频片段等均蕴含结构化或半结构化的关键信息。多模态 RAG（MRAG）的核心诉求是：允许用户以任意模态发起查询，并从跨模态知识库中检索、融合、生成多模态响应。

Hu 等人提出的 REMU 框架与 MRAG-Bench 基准测试系统性地揭示了当前多模态 RAG 面临的三大瓶颈：

1. 模态鸿沟：不同模态的原始特征空间异构，直接拼接导致语义不对齐；
2. 检索噪声：跨模态粗排返回的候选集包含大量视觉-文本不一致项（Visual-Textual Knowledge Inconsistency, VTKI）；
3. 融合冲突：参数化知识与检索知识在生成阶段产生矛盾（Parametric-Retrieved Knowledge Inconsistency, PRKI）。

2025 年的多模态 RAG 前沿综述进一步将技术演进划分为三代：1.0 伪多模态（全部文本化）、2.0 跨模态检索（保留原始模态但生成受限）、3.0 全模态生成（支持交错图文输出）。本章聚焦 2.0 到 3.0 跨越中的关键工程问题。

---

2. 总体架构：跨模态RAG系统分解

系统沿查询方向单向流动：查询经模态编码器映射到统一嵌入空间，通过向量索引完成近似最近邻（ANN）粗排，再经交叉编码器精排，最终与参数化知识融合后送入多模态大语言模型（MLLM）生成响应。

---

3. 知识图谱：核心概念层级

---

4. 非文本知识库编码策略

4.1 图像知识库：从全局特征到细粒度文档

图像模态的编码策略经历了从全局特征到细粒度结构的演进。早期方法依赖 CLIP 等双塔模型提取整图嵌入，适用于自然图像检索。但对于富含文本与布局的文档图像（如 PDF 截图、表格、海报），全局特征会丢失细粒度结构信息。

ColPali 与 ColQwen2 等近期工作提出将文档页面直接视为图像，利用视觉语言模型（VLM）的 patch 级编码器提取密集视觉 token，替代传统的 OCR 文本化流程。其优势在于：避免 OCR 错误导致的语义漂移，保留原始布局与视觉层次。

对于通用图像知识库，编码器选择遵循任务类型：

• 语义匹配（图文检索）：CLIP、SigLIP、EVA-CLIP；
• 细粒度识别（商品、人脸）：专用视觉 Transformer；
• 文档理解：ColPali、DocLLM 的视觉编码分支。

4.2 音频知识库：时序语义压缩

音频模态具有显著的时序延展性。语音、音乐、环境音的编码策略各不相同：

• 语音：wav2vec 2.0 或 Whisper 编码器提取帧级特征，再通过时序池化（Temporal Pooling）压缩为固定长度向量；
• 音乐：基于频谱图（Spectrogram）的 CNN 或音频 Transformer，保留节奏与和声结构；
• 环境音：短时傅里叶变换（STFT）配合事件检测，提取关键声学事件片段。

音频检索的核心难点在于时序对齐：查询"视频中第30秒的爆炸声"要求索引不仅存储语义向量，还需保留时间戳锚点。解决方案是将音频切分为固定长度片段（如 10 秒），每段独立编码并附加时间元数据。

4.3 三维模型知识库：几何与语义联合嵌入

3D 模型（点云、网格、NeRF）的检索增强在工业设计、自动驾驶、医学影像领域日益重要。其编码策略分为两支：

1. 几何编码：PointNet、Point Transformer 直接处理点云坐标，提取形状特征；
2. 语义编码：将 3D 模型渲染为多视角 2D 图像，经视觉编码器提取视图级特征，再通过视图聚合（View Aggregation）得到统一 3D 表示。

联合嵌入的关键在于对齐损失设计。以 InfoNCE 为基础，将同一 3D 模型的不同视图与对应文本描述拉近距离，同时将不相关样本推开：

$${\mathcal{L}}_{\text{InfoNCE}}=-\log \frac{\exp (f(q)\cdot f(k^{+})/\tau )}{{\sum }_i\exp (f(q)\cdot f(k_i)/\tau )}$$

其中 $q$ 为查询模态特征，$k^{+}$ 为正样本，$\tau$ 为温度系数。该损失是跨模态统一空间的通用训练目标。

---

5. 跨模态相似性度量：统一嵌入空间与对比学习

5.1 双塔架构与共享嵌入空间

跨模态检索的基础是将查询与候选映射到同一向量空间，使相似性可通过内积或余弦距离度量。双塔架构（Dual-Encoder）中，各模态拥有独立的编码塔，通过对比学习对齐：

$$\text{sim}(q,d)=\frac{⟨E_{\text{query}}(q),E_{\text{doc}}(d)⟩}{\Vert E_{\text{query}}(q)\Vert \cdot \Vert E_{\text{doc}}(d)\Vert }$$

CLIP 是该范式的代表：图像塔为 ViT，文本塔为 Transformer，在海量图文对上进行对比预训练。其局限在于双塔交互仅发生在最终向量层面，无法捕捉细粒度元素级对齐（如查询中的"红色"与图像中特定区域的关联）。

5.2 晚期交互与细粒度对齐

为突破双塔瓶颈，晚期交互（Late Interaction）架构被引入。ColBERT 在文本领域率先采用 token 级交互：查询与文档分别编码为 token 向量序列，相似性通过最大相似度矩阵（MaxSim）计算：

$$\text{Score}(q,d)=\sum _{i\in q}\underset{j\in d}{\max }⟨q_i,d_j⟩$$

该思想被扩展至多模态场景。ColPali 将文档图像切分为 patch token，查询文本切分为词 token，通过 MaxSim 实现跨模态 token 级匹配，显著提升了文档检索的细粒度精度。

5.3 子维度分解与帕累托检索

对于复杂查询（如"红色跑车在城市夜景中行驶"），单一图像往往无法覆盖所有查询元素。Cross-modal RAG 提出子维度分解：将查询与图像同时拆解为语义组件（颜色、物体、场景、动作），在子维度空间分别检索，再组合为帕累托最优候选集。其相似性度量从标量扩展为向量：

$$\mathbf{s}(q,d)=[s_{\text{color}},s_{\text{object}},s_{\text{scene}},s_{\text{action}}]$$

候选图像的排序依据各维度得分的帕累托前沿，确保返回结果在多个语义维度上互补而非单一维度最优。

---

6. 粗排与精排：重排序策略的理论边界

6.1 两阶段检索的必然性

直接在大规模多模态库上执行精确交叉编码计算不可行——当知识库达到百万级图像或十亿级 token 时，双塔粗排（ANN 索引）将候选集从全集压缩至 Top-K（通常 K=20~100），再由精排模型对候选集进行深度交互打分。该两阶段结构是效率与精度的必要折中。

6.2 粗排：近似最近邻与最大内积搜索

粗排阶段的核心运算是最大内积搜索（MIPS）。对于查询嵌入 $q$ 与文档嵌入 $d$，检索目标为：

$${\mathcal{R}}_{\text{coarse}}=\underset{d\in \mathcal{D}}{\text{argtop-}K}{q}^{\top }d$$

工业实现依赖 IVF-PQ、HNSW 等近似索引结构，将单次检索延迟压至毫秒级。对于多模态场景，索引需支持异构查询（文本查图像、图像查音频等），因此所有模态必须共享同一嵌入维度。

6.3 精排：交叉编码器的交互深度

精排模型接收查询与候选的拼接输入，通过多层交叉注意力计算相关性分数。以多模态重排序为例，模型同时处理查询文本、查询图像、候选文本、候选图像四种输入，通过交叉注意力层实现模态间深度交互：

$${\text{Score}}_{\text{rerank}}=\text{MLP}([q_t;q_v;d_t;d_v]+\text{CrossAttn}([q_t;q_v],[d_t;d_v]))$$

其中 $[\cdot ;\cdot ]$ 表示拼接，CrossAttn 为双向交叉注意力。该结构能捕捉粗排双塔无法建模的细粒度关联（如查询图像中的局部物体与候选文本中特定描述的对应）。

6.4 重排序的信息增益边界

设粗排返回候选集 $\mathcal{C}$，其中包含真实相关项的概率为 $p$。精排的目标是在 $\mathcal{C}$ 上最大化正确项的排序位置。定义精排的信息增益为：

$$\Delta I=I(\text{rel};{\text{score}}_{\text{fine}})-I(\text{rel};{\text{score}}_{\text{coarse}})$$

理论分析表明，当粗排候选集大小 $K$ 与精排模型容量 $C$ 满足 $K\cdot 2^{-C}\ll 1$ 时，精排可将错误排序概率指数级降低。这意味着：粗排负责召回率（不漏），精排负责准确率（不错），二者在信息论意义上构成级联信道。

6.5 多源重排序策略

实际系统中，粗排可能返回来自不同源（图像库、文本库、3D库）的异构候选。多源重排序需解决两个问题：

1. 分数不可比：不同源的相似性分数分布不同，直接比较导致偏差。校准方法包括 Z-score 标准化、Platt 缩放或基于历史点击的分数融合；
2. 模态不一致：同一查询下，视觉相关项与文本相关项的排序可能冲突（VTKI）。联合相似性评估通过多模态模型统一打分：

Itv=argmaxi rM(Q,{Vi,Ti}) I^{tv} = \underset{i}{\text{argmax}} \, r^{M}(Q, \{V_i, T_i\}) Itv=iargmax​rM(Q,{Vi​,Ti​})

其中 $r^M$ 为多模态模型的联合相关性函数，$V_i$ 与 $T_i$ 分别为候选的视觉与文本组件。该联合打分消除了单模态评估的偏差。

---

7. 多模态融合与生成

7.1 融合机制分类

检索到的多模态证据需与查询共同送入 MLLM 生成最终响应。融合机制分为三类：

1. 分数融合：将不同模态的检索分数加权求和，选择得分最高的单一模态证据作为上下文；
2. 注意力融合：在 MLLM 的交叉注意力层中，让查询 token 动态关注检索到的图像、文本、音频 token；
3. 统一投影：将所有模态数据转换为统一格式（如全部转为文本描述或全部转为视觉 token），消除模态边界。

7.2 检索-参数知识冲突消解

当检索证据与模型参数知识矛盾时（PRKI），直接拼接会导致生成混乱。有效策略是显式冲突消解：模型先生成基于参数知识的回答 $y^{\text{int}}$，再生成基于检索知识的回答 $y^{\text{ext}}$，最后通过对比推理生成最终答案 $y^{\ast }$：

$$y^{\ast }=M(Q,y^{\text{int}},y^{\text{ext}},(V_{I^{tv}},T_{I^{tv}}))$$

该过程强制模型显式评估两种知识源的可信度，而非隐式混合。

---

8. 跨模态检索的信息损失上界

8.1 模态投影的信息瓶颈

将原始模态数据 $x$ 通过编码器 $E$ 投影到 $d$ 维嵌入空间，本质上是一个信息压缩过程。根据信息瓶颈原理，有效信息 $I(x;y)$ 与压缩约束 $I(x;z)$ 之间的权衡可量化为：

$${\mathcal{L}}_{\text{IB}}=I(z;y)-\beta I(x;z)$$

其中 $z=E(x)$ 为嵌入表示，$y$ 为下游任务目标。对于跨模态检索，$y$ 通常是"是否与查询相关"的二元变量。当 $d$ 维嵌入空间的容量不足以保留区分正负样本的关键信息时，检索精度存在理论上限。

8.2 对比学习损失与互信息下界

InfoNCE 损失可视为互信息 $I(q;k^{+})$ 的下界估计器。NCE 损失的渐近行为表明：

$$I_{\text{NCE}}(q;k^{+})\le I(q;k^{+})\le H(q)$$

这意味着对比学习无法提取超过查询本身熵的信息。当查询模态（如短文本）的信息量远低于候选模态（如高分辨率图像）时，嵌入空间的信息瓶颈主要由查询侧决定——无论图像编码器多么强大，短文本查询能"表达"的检索意图存在天然上限。

8.3 多模态融合的信息损失上界

设检索阶段保留 $K$ 个候选，每个候选包含 $m$ 种模态。融合阶段将多模态证据压缩为 MLLM 的上下文窗口输入。定义融合损失为：

Lfuse=H(y∣q,{di}i=1K)−H(y∣q,D) \mathcal{L}_{\text{fuse}} = H(y \mid q, \{d_i\}_{i=1}^K) - H(y \mid q, \mathcal{D}) Lfuse​=H(y∣q,{di​}i=1K​)−H(y∣q,D)

其中 $\mathcal{D}$ 为完整知识库。该损失衡量"仅使用 Top-K 候选而非全库"导致的条件熵增量。当候选集包含真实相关项时，损失上界满足：

$${\mathcal{L}}_{\text{fuse}}\le -\log p(d^{\ast }\in {\mathcal{R}}_{\text{coarse}})+ϵ$$

即融合损失由粗排召回率主导。这从信息论角度证明了两阶段检索中粗排召回率是第一优先级。

---

9. 协同设计：模块交互与数据流

查询进入系统后，首先经模态识别模块判断输入类型，随后分流至对应编码塔。各塔输出汇入统一 ANN 索引完成粗排。候选池经交叉精排、分数校准与冲突检测后，送入融合生成模块。知识库更新流仅作用于索引层，不影响在线查询路径。

---

10. 接口对接图：输入输出定义

接口	类型	维度	说明
查询文本	输入	$(L_q,d_t)$	文本查询经 tokenizer 后的 token 序列
查询图像	输入	$(H,W,3)$	原始像素或经预处理的图像张量
查询音频	输入	$(T_a,F)$	频谱图或原始波形特征
检索证据	输出	$K\times m$	$K$ 个候选，每个含 $m$ 种模态数据
相关性分	输出	$(K,)$	精排后的联合相关性分数
生成响应	输出	$(L_r,d_t)$	多模态交错输出（文本+图像引用）

---

11. 完整三层架构总览图

---

12. 实验边界与性能验证

12.1 MRAG-Bench 评估框架

Hu 等人提出的 MRAG-Bench 包含 1,353 道多选题、16,130 张图像与 9 种场景，系统评估了视觉中心的多模态 RAG 性能。关键发现包括：

• 仅增加 1 个真实图像示例即可带来 5.64% 的性能提升，但超过 10 个后边际收益递减；
• 视觉增强知识在长上下文中的利用效率受限，表明检索融合策略比单纯增加证据数量更重要。

12.2 跨模态检索精度对比

在 UMRB（Universal Multimodal Retrieval Benchmark）上的测试表明，统一多模态检索模型相比单任务专用模型存在显著差距：文本到文本检索下降约 15%，文本到图像下降约 20%。这说明模态间的负迁移是通用架构的核心挑战，也印证了子维度分解与任务自适应路由的必要性。

12.3 重排序增益量化

OMGM 框架在实体检索任务中验证：经过多模态融合重排序后，Recall@1 相比粗排提升 23.7%（数据集一）与 11.4%（数据集二）。重排序的核心价值在于将跨步骤相似性传播（Cross-step Similarity Propagation）注入候选排序，弥补双塔粗排的交互缺失。

---

13. 结论与展望

本文从非文本知识库编码、跨模态相似性度量、两阶段重排序策略三个层面系统梳理了多模态 RAG 的核心技术。关键结论如下：

1. 编码层：图像、音频、3D 模态需采用差异化编码策略，但最终必须汇入统一嵌入空间以实现跨模态检索。文档类图像推荐视觉优先编码（ColPali），音频需保留时序锚点，3D 需联合几何与多视图语义。

2. 度量层：双塔架构适用于大规模粗排，晚期交互（MaxSim）与交叉编码器适用于精排。子维度分解将标量相似性扩展为向量，支持帕累托最优的多元素检索。

3. 排序层：粗排负责召回率上限，精排负责准确率上限，二者构成信息论意义上的级联信道。多源重排序需通过联合相似性评估消除模态间偏差（VTKI），并通过显式冲突消解处理参数-检索知识矛盾（PRKI）。

未来方向包括：端到端可学习的稀疏索引、面向多模态生成的检索-生成联合优化，以及面向硬件对齐的原生多模态注意力架构。

---

参考文献

• Hu, W., Gu, J.-C., Dou, Z.-Y., Fayyaz, M., Lu, P., Chang, K.-W., & Peng, N. (2024). MRAG-Bench: Vision-Centric Evaluation for Retrieval-Augmented Multimodal Models. arXiv preprint arXiv:2410.08182.
• Zhu, M. et al. (2025). Cross-modal RAG: Sub-dimensional Text-to-Image Retrieval-Augmented Generation. arXiv preprint arXiv:2505.21956.
• Yu, Y. et al. (2025). Ask in Any Modality: A Comprehensive Survey on Multimodal Retrieval-Augmented Generation. arXiv preprint arXiv:2504.08748.
• Faysse, M. et al. (2024). ColPali: Efficient Document Retrieval with Vision Language Models. arXiv preprint.
• Wei, C. et al. (2024). UniIR: Training and Benchmarking Universal Multimodal Information Retrievers. ECCV 2024.
• Zhang, S. et al. (2025). Bridging Modalities: Improving Universal Multimodal Retrieval by Multimodal Large Language Models. CVPR 2025.
• Xia, R. et al. (2025). Cross-Source Knowledge Reconciliation for Multimodal RAG. ACL 2025.