腾讯: Query改写不是你RAG使用LLM查询优化的唯一方案

在大语言模型（LLMs）的应用中，检索增强生成（RAG）技术虽有进展，但也面临挑战，尤其是在处理复杂或特定领域查询时。查询优化（QO）对于提升 RAG 的效率和质量至关重要，其包含多种技术。

腾讯最新QO技术研究综述，四大类Query优化：扩展、分解、消歧、抽象。

1. Query Expansion（查询扩展）

查询扩展可以基于不同的知识来源，分为内部扩展和外部扩展。

1.1 内部扩展（Internal Expansion）

技术与原理：内部扩展主要针对信息时效性较低的查询，这些信息通常包含在LLMs的预训练阶段内嵌入的知识。如：
利用设计指令让 LLMs 生成上下文文档辅助回答；
借助 LLMs 的少样本提示生成伪文档扩展查询；
先生成初始输出，再检索信息优化输出；
让检索模型利用 LLM 生成知识集合扩展查询知识，同时 LLM 借助检索文档优化提示；
用零样本提示生成假设文档，经对比编码器处理后检索相似真实文档；
基于原始查询预测未来内容并检索信息，迭代优化；
利用 LLMs 零样本推理生成多样查询和文档，相互验证实现扩展；
用零样本指令的释义生成多组关键词提升检索效果；
从 LLMs 提取参数知识并用查询优化器优化查询。
应用场景：适用于信息时效性较低、相关知识可能包含在 LLMs 预训练阶段的查询，如 “2020 年夏季奥运会将在何处举行？” 可通过内部扩展优化。

1.2 外部扩展（External Expansion）

技术与原理：外部扩展主要针对通常需要从知识库或网络中搜索事实的高度时效性查询。如：
用 LLMs 结合查询和潜在答案（通过标准检索获取）扩充查询；
利用初始检索文档关键信息优化查询；
挖掘语料库知识，用 LLMs 评估相关性确定关键句子扩展查询；
让 LLMs 生成伪参考并与查询结合增强检索器。
应用场景：针对需要从外部获取最新事实的高度时效性查询，如 “2024 年夏季奥运会将在何处举行？” 可通过外部扩展从知识库检索相关信息优化。

2. Question Decomposition（问题分解）

2.1 技术与原理

对于复杂查询，简单地使用原始查询进行搜索通常无法检索到足够的信息。因此，LLMs需要先将这些查询分解成更简单、可回答的子查询，然后搜索与这些子组件相关的信息。通过整合这些子查询的响应，LLMs能够构建对原始查询的全面响应。如：
在 LLM 和检索模型间传递自然语言文本，将问题分解为小转换处理；
用少样本提示分解复杂问题为简单子问题依次解决；
制定计划划分任务为子任务按计划执行；
用查询扩展模型生成多样查询，经重排选择更好检索结果；
先准备初步答案和理由，根据知识域纠正理由；
从相关任务数据源转移推理能力，分解复杂查询；
让 LLMs 生成推理痕迹和行动，动态推理并与外部环境交互；
分解复杂问题为可控粒度子查询，用强化学习迭代改进；
迭代处理子查询，结合文本相关性和自知识回答能力；
用预定义模式从知识图谱提取实例生成复杂查询和子查询；
用问题增强器生成多视角子查询处理复杂表格推理；
用小 LLM 生成计划，包含调用工具、顺序和参数；
分解原始查询为多跳查询，用 CoT 整合答案；
将知识编辑存于外部记忆，分解多跳查询为子问题，迭代查询获取答案；
用子方面探索器剖析查询，结合多方面检索器回答。

2.2 应用场景

适用于需要检索多个事实以形成全面答案的复杂查询，如：

“在 2024 年夏季奥运会上，中国在乒乓球或羽毛球上赢得的奖牌更多？” 可优化为 “中国在 2024 年奥运会乒乓球上赢得了多少奖牌？” 和 “中国在 2024 年奥运会羽毛球上赢得了多少奖牌？” 两个子查询；
“2024 年奥运会男子单打乒乓球金牌得主的出生日期是什么时候？” 可优化为 “2024 年夏季奥运会男子单打乒乓球冠军是谁？”（假设冠军是）和 “的出生日期是什么时候？” 两个子查询。

3. Query Disambiguation（查询消歧）

3.1 技术与原理

查询消歧旨在识别和消除复杂查询中的歧义，确保查询是明确的。这涉及到确定查询中可能被多种方式解释的元素，并细化查询以确保单一、精确的解释，也就是通过多种方式澄清意图。如：
引入基于自然语言的演绎推理格式，分解推理过程为子过程，增强推理严谨性；
用特定提示让模型重述查询再推理；
用少样本提示和外部知识构建歧义查询的消歧树获取长答案；
用 “rewrite-then-edit” 框架让 LLMs 改写和编辑查询消除歧义；
用对话答案建模检索器偏好，优化改写器；
整合检索文档和生成响应的多方面反馈探索最优改写策略；
利用 LLMs 的 NLP 能力（如解决共指关系、扩展上下文）减少对话历史歧义，通过多种方式将优化后的对话历史融入框架。

3.2 应用场景

主要针对模糊查询，如：

“2024 年夏季奥运会乒乓球单打冠军是谁？” 可能指代男子或女子单打冠军，可消歧为 “2024 年夏季奥运会女子乒乓球单打冠军是谁？” 和 “2024 年夏季奥运会男子乒乓球单打冠军是谁？” 两个子查询。

4. Query Abstraction（查询抽象）

4.1 技术与原理

查询抽象旨在提供对事实需求的更广泛视角，可能导致更多样化和全面的结果。这涉及到识别和提炼查询的基本意图和核心概念元素，然后创建一个高层次的表示，捕捉本质含义的同时去除具体细节。如：
用精心设计提示引导 LLM 推理，使输出契合原始查询意图；
要求 LLMs 对抽象查询进行概念推理，在可验证符号空间生成解决方案；
将通用 CoT 推理抽象为含抽象变量推理链，借助领域工具解决查询；
用抽象框架构建推理过程，集成不同层次抽象；
生成高层抽象信息作查询上下文背景；
定义查询方面辅助复杂查询推理；
解构查询语义为通用符号表示，学习通用推理模式；
通过两阶段（查询到模式、模式到子图）用语言模型和图语义距离处理查询与知识图谱结构对齐。

4.2 应用场景

适用于需要理解并应用领域特定推理及数据上下文的查询，如 “中国举办过多少次奥运会？” 可抽象为 “奥运会的举办历史”，为理解和回答查询提供更广泛背景。

5. 查询优化核心技术的分类树

零基础如何学习AI大模型

领取方式在文末

为什么要学习大模型？

学习大模型课程的重要性在于它能够极大地促进个人在人工智能领域的专业发展。大模型技术，如自然语言处理和图像识别，正在推动着人工智能的新发展阶段。通过学习大模型课程，可以掌握设计和实现基于大模型的应用系统所需的基本原理和技术，从而提升自己在数据处理、分析和决策制定方面的能力。此外，大模型技术在多个行业中的应用日益增加，掌握这一技术将有助于提高就业竞争力，并为未来的创新创业提供坚实的基础。

大模型典型应用场景

①AI+教育：智能教学助手和自动评分系统使个性化教育成为可能。通过AI分析学生的学习数据，提供量身定制的学习方案，提高学习效果。
②AI+医疗：智能诊断系统和个性化医疗方案让医疗服务更加精准高效。AI可以分析医学影像，辅助医生进行早期诊断，同时根据患者数据制定个性化治疗方案。
③AI+金融：智能投顾和风险管理系统帮助投资者做出更明智的决策，并实时监控金融市场，识别潜在风险。
④AI+制造：智能制造和自动化工厂提高了生产效率和质量。通过AI技术，工厂可以实现设备预测性维护，减少停机时间。
…
这些案例表明，学习大模型课程不仅能够提升个人技能，还能为企业带来实际效益，推动行业创新发展。