RAG还要不要分块？M-RAG底层逻辑全解（非常详细），看这篇就够了！

一句话讲清楚👉🏻 西南财经大学和马里兰大学的研究团队提出M-RAG，用LLM从文档中提取结构化的k-v元标记替代传统的文本分块策略，在LongBench多个任务上以更少的token预算超越了基于分块的RAG方法。

---

RAG的分块困境

在大语言模型时代，RAG（Retrieval-Augmented Generation）是提升LLM事实可靠性最常用的方案。简单来说，RAG的工作流程是：给定用户查询，系统先从外部知识库中检索相关文档片段，然后将这些片段与查询一起送入LLM生成回答。

这个流程中有一个看似不起眼但影响深远的环节：文本分块（chunking）。

不管是固定长度分块还是语义分块，都面临同一个根本性问题——分块是一种有损的预处理操作。固定长度分块会把连贯的语义单元切碎，引入不相关的噪声；语义分块虽然试图按语义边界切分，但受限于局部上下文窗口，很难保留文档级别的因果关系、时间顺序或层级结构。

RAG分块导致的信息碎片化和结构丢失问题。固定长度或语义分块往往会割裂连贯的语义单元，破坏文档级别的依赖关系，引入阻碍精确检索和生成的噪声。

更本质的问题在于：分块策略将检索粒度和生成上下文构造紧密耦合在一起。换句话说，检索单元的大小直接决定了生成模型能看到什么内容，这导致RAG系统对分块策略的选择极其敏感。

近年来，有研究开始质疑RAG的必要性——既然长上下文LLM已经能够直接处理完整文档，是否还需要多阶段的检索流水线？但长上下文能力本身并不能解决相关性过滤、证据优先级排序和定位答案信息等核心问题。RAG作为知识增强框架依然有用，只是需要更高效、更鲁棒的检索机制。

M-RAG就是冲着这个问题来的。

M-RAG：用元标记替代文本块

M-RAG的思路很直接：不再检索粗粒度的文本块，而是用LLM从文档中提取结构化的k-v元标记（meta-marker），将检索表示与生成内容解耦。

具体来说，对于一篇文档，M-RAG使用LLM提取一组元标记：

每个元标记 被分解为两个互补部分：

• 检索键：一个轻量级的检索锚点，作为意图对齐的语义线索，优化查询匹配和检索召回
• 信息值：保留丰富的事实或关系内容，为下游生成提供上下文支撑

完整的元标记通过文本拼接形成：

这里面的直觉是：用户查询通常是简短且意图明确的，而传统分块检索要求在长且语义异构的文本块上计算相似度，存在严重的粒度不匹配。M-RAG通过只在紧凑的检索键上执行相似度匹配来解决这个问题。

M-RAG整体架构。工作流程分为两个阶段：Marker Extractor从文档中提取结构化元标记，然后进行元标记检索和响应生成。

Marker Extractor：LLM驱动的元标记提取

M-RAG是一个模型无关、即插即用的模块，可以直接替换现有RAG系统中的分块组件。

设计动机

用户查询反映了底层的信息需求，其核心是对某个意图的表达。同一个信息需求可以用许多语义等价的查询来表达，因此有效的检索必须对表面形式的变化具有鲁棒性。在这个视角下，要求查询与固定或语义聚合的文本块对齐是不必要的冗余。

M-RAG的出发点是：有效的检索应该将用户查询匹配到轻量级的语义线索，而非文本块。

具体实现

第一步：位置标记插入。 在提取之前，先在文档的每个token段落（例如128个token）中插入位置标记 [Paragraph N]（N从0开始），以便利用顺序信息并在提取后进行精确的覆盖验证。

第二步：LLM提取元标记。 通过prompt指导LLM从文档中提取元标记。prompt中动态指定期望的最小元标记数量（文档总token数除以段落大小），引导LLM生成足够细粒度的标记。每个元标记的提取遵循以下规则：

• 细粒度分割：每个元标记最多使用1-3个段落，鼓励创建多个小而聚焦的标记而非少量大标记
• 代词消解：将代词替换为明确的名称，消除歧义
• 属性绑定：为人（出生日期、角色）、组织（地点、成立年份）、作品（作者、年份）等实体绑定具体属性
• 信息值：一个自包含的段落（200-300词），覆盖一个特定方面或事实
• 检索键：一个既能总结 内容又能作为检索查询的详细问题

第三步：覆盖度验证。 定义覆盖率为出现在至少一个元标记的段落索引中的段落比例。如果覆盖率低于阈值（本文设为0.95），则重试提取，最多三次。如果全部失败，选择覆盖率最高的输出，并对未覆盖的段落应用保守的回退策略——将段落内容直接作为元标记。

形式化定义

Marker Extractor的形式化表达为：

其中 是prompt， 是文档 的元标记集合：

随后，每个检索键 被编码为稠密向量，形成"锚点"张量：

其中每个锚点向量的计算方式为：

为嵌入模型（如BAAI/bge-m3）， 为嵌入维度。

检索与生成

相似度匹配

给定用户查询 ，M-RAG首先生成其嵌入向量：

然后通过锚点上的相似度匹配识别候选元标记：

其中 为相似度函数（如余弦相似度）。M-RAG采用HNSW（Hierarchical Navigable Small World）算法进行高效的近似最近邻搜索。

Token预算约束下的选择

从候选元标记 中动态选择排名最高的元标记：

选择过程持续到信息值 的累计token数超过预定义的token预算 （通过tiktoken计算）。

排序策略

在上下文构造的后填充阶段，M-RAG对检索键应用两种重排序策略：

• 基于位置的排序：根据段落索引按原始文档顺序排列
• 基于相似度的排序：按语义相关性对检索键排序

回答生成

生成阶段遵循标准RAG流水线。将检索到的信息值通过prompt注入到指令微调的LLM中：

Using the following retrieved information [] answer the query [].

M-RAG的优势分析

与基于分块的RAG相比，M-RAG有几个明显优势：

第一，缓解信息碎片化。 通过整体处理文档并避免预定义的文本分割，M-RAG缓解了分块导致的碎片化问题，更好地保留了长距离依赖关系。

第二，提升检索效率。 检索键与信息值的显式分解增强了查询-键对齐，同时减少了不相关上下文的注入，实现了更高的检索效率和更干净的增强上下文。

第三，即插即用。 M-RAG被设计为模型无关的、即插即用的RAG流水线替代方案，无需修改模型架构或检索基础设施，同时兼容多种prompt和部署设置。

第四，检索复杂度可控。 传统方法的检索延迟依赖于文档结构和领域特征，而M-RAG通过设计限定了检索复杂度，在紧凑的意图对齐检索键上执行相似度匹配，产生更稳定、可预测的检索延迟。

实验设置

评测基准

M-RAG在LongBench的问答子任务上进行评测，具体包括：

• NarrativeQA：单跳问答，基于叙事文本
• Qasper：单跳问答，基于学术论文
• 2WikiMultihopQA：多跳问答，需要跨文档推理

每个任务包含200个样本，平均上下文长度超过3000个token。

基线方法

对比的基线方法包括：

• Fixed-Size RAG：按128个token固定分块
• Semantic RAG：使用相似度进行动态分块
• PIC RAG：使用摘要-句子相似度进行自适应分组
• DOS RAG：保留原始文档结构，无需多阶段处理

所有方法使用相同的BAAI/bge-m3检索器，在token预算约束（128x1、128x3、128x5）下进行公平对比。

实现细节

M-RAG使用DeepSeek-V3.2进行标记提取，使用BAAI/bge-m3嵌入模型进行检索，使用Qwen3-30B-A3B-Instruct-2507进行回答生成。提取器和生成模型的温度均设为0，确保确定性行为。所有实验重复五次。

实验结果

下表展示了不同RAG范式在LongBench子任务上的端到端问答性能。

整体来看，M-RAG表现一致且强劲，在低资源设置下优势尤为明显——基于分块的方法在这种场景下最容易受到信息碎片化和检索噪声的影响。

在NarrativeQA任务上，当token预算仅为128x1时，M-RAG的得分为0.0736，分别超越Fixed-Size、Semantic和PIC方法11.5%、19.3%和19.1%。随着预算增加，M-RAG的优势进一步扩大，在128x5时超越了所有基线方法。

在Qasper任务上，M-RAG在128x1时取得了最佳性能，在更高预算下保持了竞争力，反映了基于标记的检索在有限上下文注入时保留信息的优势。

在2WikiMultihopQA上，M-RAG在大多数配置下都超越了基线方法。

在全部9个实验设置中，M-RAG在7个设置中取得了前1或前2的成绩，说明键-值解耦设计确实有效。

深入分析

文档覆盖度

元标记提取的覆盖度分析表明，零样本和少样本prompting在所有基准上都达到了高覆盖率，平均覆盖率超过99.8%，回退使用率低于1%。也就是说，标记提取策略基本能确保每个段落至少被一个标记覆盖，不会出现系统性的内容遗漏。

唯一触发回退的案例来自Qasper_54文档的结论部分，原因是该部分语义内容不足以进行元标记提取。

检索效率

各方法检索时间对比。M-RAG在所有基准上均实现了最低的检索延迟，验证了在紧凑检索键上执行相似度匹配的效率优势。

如图所示，M-RAG在所有基准上始终实现了最低的检索延迟。用户查询简短且意图明确，而基于分块的检索策略需要在长且语义异构的文本块上计算相似度。这种粒度不匹配增加了嵌入计算和稠密内容压缩的成本。相比之下，M-RAG仅在紧凑的检索键上执行相似度匹配，降低了每个候选的计算量并加速了相似度搜索的收敛。

从可扩展性角度看，Fixed-size、PIC和DOS在不同基准上检索延迟不稳定，源于它们依赖于数据相关的分块或段落级检索单元。M-RAG通过设计限定了检索复杂度，在紧凑的意图对齐检索键上执行相似度匹配，产生了更稳定、可预测的检索延迟。

k-v Token长度分析

各基准上k和v的token长度分布。检索键始终保持紧凑（约19-20个token），而信息值明显更长（约50-65个token），表明k-v解耦策略成功分离了检索表示与生成内容。

分析中有几个值得注意的发现：

第一，清晰的长度不对称性。 在所有基准和prompting模式下，检索键始终保持紧凑（约19-20个token），而信息值明显更长（约50-65个token）。信息值包含比检索键多2.5到3倍的token，说明它确实能为生成提供充足的上下文。

第二，自适应的内容分配。 k-v分解呈现出一致但领域自适应的模式。检索键在所有基准上都保持简洁，信息值则因领域而异：NarrativeQA的值较短（反映局部上下文），Qasper的值较长（需要封装学术解释），2WikiMultihopQA的值最长（与其多跳和跨文档需求一致）。

第三，解耦设计的独立性。 值的变化不会影响键的表达，说明k-v分解在保持检索效率的同时，能根据任务复杂度灵活分配上下文。

案例研究

案例分析。左侧为t-SNE可视化展示检索键和信息值在嵌入空间中的分布差异；右侧展示了M-RAG与传统方法在具体问答场景中的对比。

通过t-SNE可视化可以观察到一个一致的模式：检索键聚集在查询附近的局部区域，而信息值分布在更广泛和分散的嵌入空间区域。这种几何分离直接支持了k-v分解的核心理念——检索键充当紧凑的语义"锚点"用于检索，信息值保留更丰富的上下文内容用于下游生成，而不影响查询-键相似度匹配。

右侧的案例来自Qasper数据集，用户查询的是"robustness"的定义。传统的Fixed-Size和Semantic方法检索到的文本块虽然信息丰富，但并未明确陈述robustness的定义——这些段落混合了正则化、实际鲁棒性、示例和引用等多个主题。相比之下，M-RAG的元标记检索将查询匹配到一个意图对齐的键，并返回一个明确定义了robustness概念的值，生成结果更具可回答性，减少了无关内容的干扰。

排序策略与Prompting的影响

不同排序策略和prompting模式在各基准上的性能对比（token预算：128x1至128x5）。

实验还探索了两种排序策略和两种prompting模式的组合效果：

• 零样本 vs. 少样本prompting：少样本prompting在某些情况下能降低方差，但零样本prompting在均值覆盖度上达到了可比的结果，表明标记提取在零样本设置下具有良好的泛化能力
• 位置排序 vs. 相似度排序：两种策略各有优势，位置排序有利于保持文档结构信息，相似度排序有利于提升语义匹配精度

局限性与未来方向

论文也指出了当前工作的几个不足：

第一，LLM幻觉风险。 标记提取过程依赖LLM，可能产生与原文不完全一致的信息值。虽然通过段落索引、覆盖率阈值和回退机制部分缓解了这一风险，但幻觉的影响尚未被完全量化。

第二，未与图基方法对比。 受计算资源限制，论文未将M-RAG与基于图的RAG方法（如GraphRAG、LightRAG）进行对比。这些方法构建知识图谱，在多跳推理任务上可能具有优势。

第三，单一提取模型。 论文仅使用单一LLM（DeepSeek-V3.2）进行标记提取，未探索其他模型（如GPT或Gemini系列）对提取质量的影响。

未来工作方向包括：人工验证提取的标记质量、构建专门的公开基准、以及在大规模场景下评估M-RAG与图基方法的互补优势。

小结

M-RAG对RAG框架下的分块检索设计提出了新的思路。通过从原始文档中提取结构化标记，将检索单元与生成内容解耦，M-RAG实现了轻量级检索，同时为下游生成提供了稳定的上下文信息访问。

实验结果显示，M-RAG在LongBench子任务上超越了基于分块的RAG基线方法，低资源设置下优势显著。分析还发现，M-RAG能以更高的效率检索到更具答案友好性的证据。

论文还提了一个有意思的扩展方向：显式的k-v分离意味着仅通过优化 就能提升检索精度——这是一种高杠杆、低成本的策略。

学AI大模型的正确顺序，千万不要搞错了

🤔2026年AI风口已来！各行各业的AI渗透肉眼可见，超多公司要么转型做AI相关产品，要么高薪挖AI技术人才，机遇直接摆在眼前！

有往AI方向发展，或者本身有后端编程基础的朋友，直接冲AI大模型应用开发转岗超合适！

就算暂时不打算转岗，了解大模型、RAG、Prompt、Agent这些热门概念，能上手做简单项目，也绝对是求职加分王🔋

📝给大家整理了超全最新的AI大模型应用开发学习清单和资料，手把手帮你快速入门！👇👇

学习路线:

✅大模型基础认知—大模型核心原理、发展历程、主流模型（GPT、文心一言等）特点解析
✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑
✅开发基础能力—Python进阶、API接口调用、大模型开发框架（LangChain等）实操
✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用
✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代
✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经

以上6大模块，看似清晰好上手，实则每个部分都有扎实的核心内容需要吃透！

我把大模型的学习全流程已经整理📚好了！抓住AI时代风口，轻松解锁职业新可能，希望大家都能把握机遇，实现薪资/职业跃迁～

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】