大模型面试被问倒？这 10 道 RAG 题可能是关键！

RAG（检索增强生成）已成为克服大模型知识局限性和幻觉问题的关键技术。无论你是准备面试还是希望系统学习RAG，掌握以下10个核心问题及其解答至关重要。

Q1：RAG与传统微调（Fine-tuning）的本质区别？

• A1： 微调通过调整模型参数（权重）来学习新知识或技能，模型本身被改变。RAG则不修改LLM参数，它通过动态检索外部知识库中的信息，并将相关信息注入到生成过程中，来解决模型的静态知识（训练数据截止后）滞后和幻觉问题。
  • 示例： 你需要一个模型回答关于“2024年巴黎奥运会最新奖牌榜”的问题。
    • 微调： 你需要收集大量2024年巴黎奥运会的新闻、数据，训练模型，过程耗时且成本高。一旦奖牌榜更新，模型又过时了。
    • RAG： 系统实时检索最新的、可信的体育新闻数据库或官网API，找到最新的奖牌榜数据片段，将这些数据提供给LLM，LLM基于这些最新信息生成答案。模型本身不需要重新训练。

Q2：为什么RAG能缓解大模型的“幻觉”问题？

• A2： RAG的生成结果锚定在检索到的真实文档上（而非仅依赖模型参数中记忆的、可能不准确或过时的知识）。LLM的注意力机制被引导去聚焦和利用这些检索到的文档内容，从而将生成的内容约束在相关文档的范围内，显著降低了模型“无中生有”的可能性。
  • 示例： 问“辉瑞公司生产的XX药品（一种非常新的药物）的常见副作用是什么？”。
    • 无RAG的LLM： 可能根据训练数据中关于“药物副作用”的一般模式或类似药物信息，编造一个看似合理但不准确的副作用列表（幻觉）。
    • 带RAG的LLM： 系统检索辉瑞官方药品说明书PDF或权威医学数据库（如Medline），找到该药品说明书中的“不良反应”章节片段。LLM基于这份真实文档生成答案，准确列出说明书上记载的副作用。

Q3：如何定义RAG中的“相关文档”？

• A3： “相关文档”指从知识库中筛选出的、与用户查询（Query）在语义或关键词上最匹配的文档片段（通常是Top-K）。主要筛选方法：
  • 语义相似度： 使用向量检索（如基于Sentence-BERT、OpenAI Embeddings的模型），将Query和文档块都转化为向量，计算余弦相似度，取最相似的。
  • 关键词匹配： 使用传统信息检索方法（如BM25），基于词频、逆文档频率等统计信息计算相关性。
  • 示例： 用户问“如何缓解Transformer模型在长文本推理中的注意力瓶颈问题？”。
    • 语义相似度检索： 可能返回讨论“Longformer”、“FlashAttention”、“稀疏注意力机制”或“分块处理策略”的论文摘要或技术博客片段，即使这些文档中没有完全相同的“注意力瓶颈”关键词。
    • 关键词匹配（BM25）： 可能优先返回包含“Transformer”、“长文本”、“注意力”、“瓶颈”、“缓解”等词频高的文档块。

Q4：RAG中主流检索器有哪些？各有什么优势？

• A4：
  1. 稀疏检索器（如BM25, TF-IDF）：
     • 优势： 计算高效，内存占用相对小；擅长精确的关键词匹配（如产品名、代码错误、特定术语）；无需训练（或训练简单）。
     • 劣势： 无法理解同义词、语义变化（如“汽车”和“轿车”）；对拼写错误敏感；召回率（找到所有相关文档的能力）可能不如稠密检索。
     • 示例： 在搜索包含精确型号“iPhone 15 Pro Max 256GB 蓝色”规格参数的文档时，BM25效果通常很好。
  2. 稠密检索器（如DPR, Sentence Transformers, OpenAI text-embedding-ada-002）：
     • 优势： 能捕捉语义相似性，支持语义搜索（如同义词、相关概念）；对查询表述的变化（如“怎么让电脑变快？” vs “提升PC运行速度的方法”）更鲁棒；通常召回率更高。
     • 劣势： 依赖大量训练数据和计算资源训练好的嵌入模型；推理计算量相对大（需计算向量相似度）；存储向量索引占用空间大；可能对领域外或表述差异大的Query效果下降。
     • 示例： 查询“智能家居节能小窍门”，稠密检索器能有效找到讨论“自动化恒温器设置”、“LED灯泡更换”、“待机功耗管理”等语义相关但关键词不完全匹配的文档。
  3. 混合检索器：
     • 优势： 结合稀疏和稠密检索的结果（如加权融合、级联），平衡准确性与召回率，取长补短，通常能获得最佳的整体检索效果。
     • 劣势： 实现更复杂；需要调优融合策略。
     • 示例： 在客服系统中，先用BM25快速定位可能包含精确错误代码的FAQ条目，再用向量检索补充语义上相关的解决方案或背景知识文档，最后合并结果。

Q5：知识库文档分块（Chunking）有哪些策略？

• A5： 将大文档拆分为适合检索和LLM处理的小块是关键预处理步骤。常用策略：
  1. 固定大小分块： 按字符数或词数（如512 tokens）分割。简单高效，易于实现。
     • 缺点： 可能生硬地割裂句子或段落，破坏语义完整性（如将一个句子拆在两块）。
     • 示例： 处理海量新闻稿进行事件检索时常用此法。
  2. 按语义/内容边界分块： 利用自然语言处理（NLP）工具，按句子、段落、标题、章节等自然边界分割。
     • 优点： 保持语义单元的完整性，上下文更连贯。
     • 缺点： 需要依赖NLP工具（如spaCy的句子分割、NLTK），块大小可能不均匀。
     • 示例： 处理技术手册或法律合同时，按章节或子条款分块能保持关键信息的上下文。
  3. 递归分块： 先按大粒度（如章节）分，再对过大块按小粒度（如段落或固定大小）递归分割。兼顾不同粒度的检索需求。
     • 示例： 处理学术论文PDF：先按章节（摘要、引言、方法、实验、结论）分大块；如果“实验”部分很长，再将其按子实验或固定大小分割成小块。

Q6：为什么需要向量归一化（Vector Normalization）？

• A6： 对嵌入向量进行归一化（常用L2归一化，使向量模长为1）是为了在进行相似度计算（特别是余弦相似度）时，消除向量长度（模）的影响，只保留方向（夹角）信息。余弦相似度本质就是归一化后的向量点积 (cos(theta) = (A·B) / (||A|| ||B||))。如果向量未归一化，长向量（即使内容不那么相关）的点积可能更大，导致相似度计算不准确。
  • 示例： 一篇很长的综述文章（向量长）和一篇精炼的技术说明（向量短）都可能与某个查询相关。如果不归一化，长文章的向量即使与查询向量夹角稍大，其点积也可能大于短文章向量与查询向量的点积（如果夹角很小），导致长文章排名更靠前。归一化后，相似度仅由方向（内容语义）决定，确保公平比较。

Q7：生成阶段如何融合检索结果？

• A7： 将检索到的文档有效地“喂”给LLM进行生成是关键步骤。主流融合方式：
  1. 拼接（Concatenation）： 这是最简单最常用的方法。将用户Query和检索到的Top-K文档（或其片段）按特定格式拼接成一个长文本序列，然后输入LLM。通常会使用分隔符（如 [SEP], </s>, ---）或提示模板（如 “Question: … Context: … Answer:”）。
     • 优点： 实现简单，与模型无关。
     • 缺点： 受LLM上下文窗口长度限制；文档过多时，关键信息可能被稀释；LLM可能忽略靠后的文档。
     • 示例： [CLS] 用户问题：如何配置Nginx的反向代理？ [SEP] 文档1： ... (关于Nginx location块配置的片段) ... [SEP] 文档2： ... (关于proxy_pass指令的说明) ... [SEP] 输入LLM，让LLM基于拼接内容生成答案。
  2. 注意力注入（Attention Injection）： 在LLM生成过程的中间层（如Key-Value层），将检索文档的向量表示（可以是原始嵌入、聚合表示等）注入到LLM的注意力机制中。代表方法如Fusion-in-Decoder (FiD)。
     • 优点： 理论上允许更灵活、更深层次的融合；可以处理更多文档（每个文档单独编码后融合）；不受基础LLM上下文长度直接限制。
     • 缺点： 实现更复杂，通常需要修改模型架构或训练方式；计算开销可能更大。
     • 示例： FiD：每个检索到的文档块独立编码，得到各自的表示向量。在LLM解码器生成每个词时，其注意力机制可以同时关注到用户Query的编码表示和所有文档块的编码表示，进行深度融合。

Q8：RAG中如何避免生成无关内容？

• A8： 即使检索到相关文档，LLM仍可能生成超出文档范围或无关的内容。缓解策略：
  1. 设置检索置信度阈值： 仅当检索到的最相关文档的相似度得分超过某个阈值时，才允许LLM基于检索结果生成答案。否则，可以回退到“我不知道”或基于通用知识回答（需谨慎）。
     • 示例： 在金融问答系统中，如果用户查询“XX公司2025年Q1预测每股收益”，而检索系统返回的最佳文档得分很低（表明知识库中没有可靠的最新预测信息），则系统拒绝回答或提示“无可靠预测数据”。
  2. 强化提示词约束： 在输入给LLM的提示（Prompt）中明确指令其仅根据提供的上下文作答。常用模板如：“请严格根据以下信息回答问题：… [上下文] … 问题：…”。
     • 示例： “你是一个客服助手，请仅根据提供的产品说明书片段回答用户问题。说明书内容：[...]。用户问题：这个设备的防水等级是多少？” 这极大地降低了LLM自行编造规格参数的可能性。
  3. 使用更高级的方案： 如Self-RAG。这类方法训练LLM在生成过程中自主判断是否需要检索、检索是否相关，并在生成文本中插入特殊的“反思标记”（如 [检索], [相关/不相关], [支持/不支持]），从而更精细地控制生成内容是否锚定在检索结果上。
     • 示例： Self-RAG模型在回答过程中，如果遇到需要外部知识或不确定的地方，会主动“思考”[检索]，然后评估检索结果[相关]，最后生成基于该结果的内容[支持]。如果它认为自身知识足够或检索结果无关，则可能不检索或忽略结果。

Q9：为什么需要重排序（Re-Ranking）？列举常见方法。

• A9： 初始检索器（如向量检索引擎）返回的Top-K文档（例如100个）通常是基于单一、快速但不完美的相关性度量（如余弦相似度）。重排序的目的是利用更精细、更耗资源的模型对这Top-K结果进行精细排序，选出最相关的少量文档（如Top-3或Top-5）输入生成器，提升最终答案质量。
  • 常见方法：
    1. 交叉编码器（Cross-Encoder）： 将Query和一个候选文档同时输入一个计算量更大的Transformer模型（如BERT），让该模型直接输出它们之间的精细相关性分数（通常是一个标量）。它对Query-Doc的交互进行深度建模，精度远高于双塔式向量检索（Bi-Encoder）。
       • 优点： 精度高。
       • 缺点： 计算成本高（需对每个候选文档单独计算），通常只用于小规模候选集（Top-K）的重排。
       • 示例： 在搜索引擎中，第一阶段的倒排索引/向量检索返回Top-100，第二阶段的BERT Cross-Encoder对这100个结果精排得到Top-10。
    2. LLM重排： 直接使用强大的LLM（如GPT-4, Claude）作为重排器。通过设计Prompt（如要求LLM对Query和Doc的相关性打分或排序），让LLM评估相关性。
       • 优点： 能力极强，能理解复杂语义和需求。
       • 缺点： 成本非常高（API调用费或自建推理开销大）、延迟高、结果可能不稳定。
       • 示例： Prompt: “请根据问题与文档片段的相关性打分（1-5分）。问题：[用户问题]。文档片段1：[内容] ... 文档片段2：[内容] ... 请输出格式：片段1: X分, 片段2: Y分”。

Q10：RAG与Fine-tuning如何结合？

• A10： RAG和微调并非互斥，常结合使用以发挥各自优势：
  1. 两阶段训练：
     • 微调检索器： 使用领域数据（Query-Positive Doc pairs）微调嵌入模型（如SBERT），使其更擅长检索该领域的相关内容。
     • （可选）微调生成器： 固定优化后的检索器，使用（检索到的文档 + Query -> Answer）数据微调LLM，使其更擅长利用该检索器提供的上下文生成领域相关的、格式规范的答案。
     • 示例： 构建医疗问答系统：先使用大量医学文献摘要和对应问题微调检索器（Embedding模型）；然后固定此检索器，使用（检索到的医学摘要 + 患者问题 -> 医生标准回答）数据微调LLM生成器。
  2. 端到端优化： 更紧密的结合方式，目标是联合优化检索器和生成器，使它们更好地协作。代表方法如RA-DIT（Retrieval-Augmented Dual Instruction Tuning）。
     • 原理： 在训练过程中，不仅用最终答案监督生成器，还用检索到的相关文档是否有助于生成正确答案来监督检索器。让检索器学会检索那些对生成器最有用的文档。
     • 优点： 理论上能获得更好的整体性能，检索和生成更适配。
     • 缺点： 训练更复杂，计算成本更高。
     • 示例： RA-DIT在训练时，同时更新检索器（如DPR）的参数和生成器（如T5）的参数。损失函数包含两部分：一个是基于检索文档生成正确答案的标准语言模型损失；另一个是鼓励检索器检索到能降低生成损失（即使生成更容易正确）的文档的损失。