ICLR 2026 Oral | Q-RAG：当大家都在训练大模型学会搜索，它却选择训练检索器-优快云博客

当很多工作都在强化学习微调 LLM，让大模型学会“边想边搜”时，Q-RAG 选择了一条更轻量、也更实用的路线——把 multi-step retrieval 做成 RL 问题，不训练 LLM，而是直接训练检索器本身。

这篇工作的核心问题很明确：面对长上下文、多跳问答、时间顺序推理这类任务，传统单步 RAG 往往不够，因为很多问题不是“一次检索 top-k”就能解决，而是需要一步步找到证据链。Q-RAG 就是在解决这个问题。

论文：Q-RAG: Long Context Multi-Step Retrieval via Value-Based Embedder Training

Q-RAG 想解决什么问题？
=================

传统 RAG 更像一次性检索：给定问题，从大语料或长文档里找出若干相关片段，再交给 LLM 作答。
这种方法在简单问题上很好用，但在复杂任务上往往会失效，尤其是下面几类场景：

需要多跳推理的问题
需要按时间顺序梳理事件的问题
超长上下文中的证据链搜索问题

这些任务的难点不只是“找相关内容”，而是要分多步逐渐逼近答案。也就是说，系统第一步找到的内容，会影响第二步该找什么，第二步又会影响第三步。于是，多步检索本质上不再是一个静态排序问题，而更像一个序列决策问题。

Q-RAG 的切入点就在这里：既然多步检索是序列决策，那就用强化学习来做；但强化学习优化的对象不是 LLM，而是 embedder / retriever。

Q-RAG 的核心思想是什么？
==================

Q-RAG 的一句话概括就是：

把多步检索建模成一个 RL agent 在长文档中逐步选 chunk 的过程。

它和很多 recent work 的最大区别在于：

别的方法：冻结检索器，训练 LLM 学会搜索
Q-RAG：冻结 LLM，训练检索器学会多步搜索

这带来几个直接优势：

第一，训练成本低。
因为它不需要对大模型做昂贵的 RL 微调，只需要训练一个检索器。

第二，部署更灵活。
训练好的检索器可以和任意 LLM 配合使用，包括更大的开源模型，甚至闭源 API 模型。

第三，推理更快。
因为它不是每一步都让大模型生成复杂查询或重算整条轨迹，而是尽量在 embedding 空间中完成动作选择。

所以从方法定位上看，Q-RAG 并不是“又一个更复杂的 Agent RAG”，而是一个更偏 retrieval-first 的多步检索框架。

Q-RAG 是如何建模多步检索的？
====================

论文把这个问题建模成一个 MDP。

状态

在第步，状态由问题和已经检索到的 chunk 组成，即
。

这里的表示按照原文顺序重新排列，避免状态因为“证据加入顺序不同”而产生歧义。

动作

从当前还没选过的 chunk 中，再选一个 chunk。
也就是，其中是当前剩余候选集合。

转移

转移很直接：选中一个 chunk 后，把它加入状态，得到下一个状态。
也就是。

奖励

论文主要使用的是 support facts 监督。
中间步骤奖励为 0，最后如果最终状态中包含全部支持事实，就给终止奖励 1，否则为 0。

这说明 Q-RAG 当前重点是在把 retrieval 这个环节单独训强，而不是直接把最终答案质量作为奖励去端到端训练整个生成过程。

Q-RAG 的关键技术点在哪里？
===================

Q-RAG 最核心的技术设计，是它如何定义每个候选 chunk 的价值。

4.1 用两个 embedder 近似 Q-function

Q-RAG 使用两个编码器：

state embedder：
action embedder：

然后直接把 Q 值写成二者的内积：

这一步非常巧。它意味着候选 chunk 的打分，不需要复杂的 transformer 轨迹评分，而可以退化为高效的向量相似度计算。
这也是 Q-RAG 推理效率高的重要原因。

4.2 用 soft Q-learning 做多步决策

Q-RAG 采用 maximum-entropy RL 思想，用 soft Q / soft V 来做动作评估。
策略可以写成 Boltzmann 形式：

其中控制探索强度。
这样做的好处是：模型不会一开始就完全贪心，而是保留适度探索，更适合多步检索这种需要“前几步为后几步铺路”的任务。

4.3 专门处理时间顺序推理

这是 Q-RAG 很有特点的一点。
很多长叙事任务里，问题不只是“哪句话相关”，而是“哪件事发生在另一件事之前或之后”。

所以 Q-RAG 在 action embedder 中加入了相对位置建模，用表示 chunk 相对于当前已选证据的位置，而不是只用绝对文档位置。于是 action 表示从变成了。

这使得模型能感知：

某个候选 chunk 在已知证据之前
还是在两段证据之间
还是在最后一段证据之后

这对 narrative QA 和 temporal reasoning 非常关键。

Q-RAG 的实验结果说明了什么？
====================

Q-RAG 的实验覆盖了长上下文推理、needle-in-a-haystack 检索，以及开放域多跳问答几个方向。

在超长上下文任务上

在 Babilong 这类强调长上下文 commonsense 和 temporal reasoning 的 benchmark 上，Q-RAG 在到 tokens 的上下文长度下表现很强，尤其是在需要多步链式推理的 QA3 任务上，随着上下文增长，性能下降非常有限。

在 RULER 上

在 RULER 这种 Needle-in-a-Haystack 长上下文检索任务上，Q-RAG 的结果几乎接近满分。
更亮眼的是，它的 embedder 主要在较短长度上训练，却能泛化到更长上下文，这说明它的强项不只是“记住长文本”，而是学会了怎么逐步定位关键证据。

在 HotpotQA / Musique 上

在开放域多跳问答上，Q-RAG 也取得了很有竞争力的结果。
这说明它不是只会在合成长上下文 benchmark 上表现好，而是在真实问答设置里也具备实用价值。

在效率上

论文特别强调，Q-RAG 的训练成本比那些直接 RL 微调 LLM 的方法低得多。作者提到，训练只用了 单张 A100 80GB，这和很多需要多张 A100 集群的 RL-based search 方法形成了鲜明对比。

最后的总结
========

我觉得 Q-RAG 最值得关注的，不只是“效果不错”，而是它提供了一个很好的研究视角：

多步 RAG 的关键，也许不一定是让 LLM 更会搜，而是让 retriever 本身更会推理。

它的价值主要有三点：

第一，重新定义了优化重点。
不是把所有复杂性都压到 LLM 身上，而是把“多步决策能力”放到检索器里学习。
第二，在效果和成本之间找到了平衡。
相比训练大模型学会搜索，训练 embedder 的门槛更低，也更适合实际落地。
第三，它提示了一个很重要的方向：
未来的 RAG 系统，可能不只是“生成模型更强”，还会是“检索器更聪明”。

当然，Q-RAG 也有局限。比如它当前主要依赖 support facts 作为奖励监督，真实应用里未必总有这么干净的标注；再比如它更偏向“强检索器”，最终答案生成仍然依赖外部 LLM。
但即便如此，这篇工作依然很有启发性。

用一句话总结 Q-RAG：

Q-RAG 不是在教大模型怎么搜索，而是在教检索器怎么像 agent 一样一步步找到答案。

学AI大模型的正确顺序，千万不要搞错了

🤔2026年AI风口已来！各行各业的AI渗透肉眼可见，超多公司要么转型做AI相关产品，要么高薪挖AI技术人才，机遇直接摆在眼前！

有往AI方向发展，或者本身有后端编程基础的朋友，直接冲AI大模型应用开发转岗超合适！

就算暂时不打算转岗，了解大模型、RAG、Prompt、Agent这些热门概念，能上手做简单项目，也绝对是求职加分王🔋

在这里插入图片描述

📝给大家整理了超全最新的AI大模型应用开发学习清单和资料，手把手帮你快速入门！👇👇

学习路线:

✅大模型基础认知—大模型核心原理、发展历程、主流模型（GPT、文心一言等）特点解析
✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑
✅开发基础能力—Python进阶、API接口调用、大模型开发框架（LangChain等）实操
✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用
✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代
✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经

以上6大模块，看似清晰好上手，实则每个部分都有扎实的核心内容需要吃透！

我把大模型的学习全流程已经整理📚好了！抓住AI时代风口，轻松解锁职业新可能，希望大家都能把握机遇，实现薪资/职业跃迁～