oj_geen的博客

将非结构化自然语言输入，转化为遵循自定义模式的结构化查询对象，适配不同查询需求。

路由的本质是将经过查询翻译后的问题，根据其内容和特征，导向最合适的处理途径或数据源，以实现高效准确的信息检索和处理。

以之前视频使用的notebook为例，针对已编入索引的关于代理的博客文章，定义提示“写一篇xxx来回答给定的问题”，用于生成假设文档。

该内容围绕查询翻译中的“后退一步（回溯）”展开，主要介绍了其在RAG流程中的位置、解决问题的不同方法、谷歌提出的后退提示法以及具体实践操作。

查询翻译处于RAG流程的前端，目标是通过修改、重写或分解用户输入的问题，以优化检索效果，提高后续回答的质量。将用户输入的问题分解为子问题是当前流行且对某些问题有用的技术。例如Google的相关工作，以“最后一个字母链接”问题为例，将“思考机器学习”这样的三个单词输入问题分解为“思考”“机器”“学习”三个子问题，按顺序分别解决子问题，利用前一个子问题的答案辅助解决下一个子问题，最终得出整体解决方案。

本视频是“从零开始系列”中关于查询翻译的第二个视频，重点介绍了“RAG Fusion”方法，这是高级RAG流程中查询翻译阶段的一种特定重写方法。

查询翻译是高级RAG Pipeline的第一阶段，旨在接收用户输入问题，并对其进行翻译处理，以优化检索效果。助手的任务是将问题重新组织成不同子问题，将提示符传递给LLM，解析成字符串并按新行分割，得到问题列表。

重点介绍RAG（检索增强生成）系统中的生成环节。

检索的核心价值：通过向量空间的语义匹配，将用户问题与文档建立关联，是RAG系统“准确性”的重要保障。后续环节：检索得到的文档将作为生成模型的输入，结合prompt工程生成最终答案（详见系列视频“生成”部分）。实践关键：合理选择嵌入模型、分割策略和向量存储，通过参数调优（如K值）平衡检索精度与效率。

索引与检索器：RAG系统中，需加载外部文档至检索器。检索器依据输入问题，找出相关文档。数字表示优势：建立文档与问题相关性，常借助文档的数字表示。相较自由格式文本，比较向量更简便。多年来，发展出多种将文档压缩为数字表示以便搜索的方法。统计方法与嵌入方法统计方法：如Google等采用统计手段，依据单词频率构建稀疏向量。向量位置对应庞大词汇表，值为单词出现次数，虽向量大且含大量零，但有良好搜索方式。嵌入方法：机器学习的嵌入方法，将文档构建为压缩的固定长度表示，并开发出强大搜索方法。

数据局限性：大语言模型（LLMs）预训练虽处理了大量token，但对于私人数据或最新数据仍无法涵盖，其预训练的token数量虽庞大，但相对特定数据而言仍是有限的。上下文窗口扩展：LLMs的上下文窗口不断增大，从最初的几千个token扩展到更多，能容纳几十页到几百页的内容，这为从外部数据源引入信息提供了可能。