“卷“起来了！中科院推出RouteRAG：小模型端到端强化学习，检索成本砍半还香

Python_金钱豹

墨衍会员 · AI 创作全网分发码龄5年

关注

原创最新推荐文章于 2026-11-10 00:57:14 发布 1k 阅读 AI 写同款· GEO 优化 ›

「文智助手」全场景办公AI助理AI+OPC全流程实践方案（大赛作品）阅读详情

RouteRAG 用“统一策略+两阶段奖励”首次把文本/图谱多轮检索做成可学习的端到端强化学习问题，让小模型也能：

自己规划“何时查、查什么”
在正确率与检索成本之间做最优权衡成果来源于中科院计算所：

一、痛点直击

老问题	现有方案短板
多跳问答需要“边想边查”	多轮RAG只查文本，图谱贵且一次性查完，无法随推理动态补充
小模型做复杂推理	手工规则或静态提示，不会自己决定“要不要查、查文本还是查图谱”
检索开销	图谱检索慢，固定流程常把无用关系也搬回来，费钱费时

RouteRAG核心目标：让小模型像“老司机”一样，自己决定何时踩油门前行（继续推理）、何时拐弯取货（检索文本/图谱/混合），还能绕开拥堵（避免冗余检索）。

二、方案速览

1. 统一动作空间

模型每一步只能做三件事，用特殊 token 触发：

<think> … </think> 继续链式思考
<search>[passage]/[graph]/[passage][graph] … </search> 按需查文本、查图谱或混合查
<answer> … </answer> 给出最终答案

2. 三段式检索引擎

模式	实现	适用场景
文本检索	DPR 向量相似度	单跳、事实召回
图谱检索	HippoRAG-2 个性化 PageRank 多跳扩散	多跳、关系推理
混合检索	RRF 融合两路排名	不确定时“全都要”

3. 两阶段强化学习（GRPO）

Stage1 只给“答对”奖励 → 模型先学会输出正确结果
Stage2 加入“效率”奖励：答对前提下，检索时间低于 batch 平均则加分，高于则扣分 → 模型学会“能少查就少查”

三、实验亮点

小模型逆袭
Qwen2.5-3B RouteRAG 在多跳数据集 2Wiki、MuSiQue 上 F1 分别达 64.1、39.3，远超同尺寸 Search-R1（50.8、30.9），追平甚至超过 GPT-4o-mini 版图谱基线。
训练数据省
仅用 1 万条 HotpotQA 训练，平均效果优于用 17 万条训练的 Search-R1，样本效率↑。
消融验证

去掉 Stage2 效率奖励 → 检索轮次+3~20%，F1 下降 0.5-1.1
固定单检索模式 → 混合动态选择平均 F1 再提 1-2 点

四、案例对比

问：Johnny Pemberton 在 NBC 情景喜剧里饰演 Bo Thompson，这部剧的创剧人是谁？

阶段	模型行为
训练前	幻觉成“That ’70s Show 创剧人是 Steven Molaro”，检索也救不回来
训练后	先查“Johnny Pemberton Bo Thompson”→ 确认剧集为 Superstore；再查“Superstore creator”→ 返回 Justin Spitzer，答案正确且仅 2 次检索

传送门：

RouteRAG: Efficient Retrieval-Augmented Generation from Text and Graph via Reinforcement Learning论文地址: https://arxiv.org/pdf/2512.094

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述