qq_43814415的博客

deepresearch是目前最流行的大模型应用范式，将agent应用于调研报告上，实现了用户只需要输入自己的问题，大模型自动搜索信息完成报告的过程。区别于rag的单次检索过程和定制化的流程，deepresearch建立在deepsearch的的基础上，由LLM自主控制整个流程。deepsearch的核心在于搜索、阅读、推理的循环。接收到查询时，进行搜索和阅读，然后根据当前搜索结果，决定是否终止或是扩展查询继续搜索。参考：本项目，就是基于MCP工具的deepresearch实现。

2024年12月份，RAG的范式基本差不多了，纯文本的RAG已经非常成熟了，多模态RAG也在迅速兴起。博主的硕士毕业论文写的就是多模态舆情分析，但是苦于自己创造的新定义、理论找不到支撑文献，于是做了一个多模态的RAG系统，旨在搜集20年以来的中文舆情分析期刊论文，试图结合最新的信息检索技术，给论文找到合适的方法和理论。这样的方法对于很多大学生都是适用的。在博主看来，RAG是信息检索，LLM同样也是信息检索，只不过前者的知识在数据库，后者的知识在FFN上的区别。

我们希望RAG的幻觉减少，最有力的证明就是关键句子参考的某篇文献或报告。然而，大模型的随机性导致提供的引文可能都不存在，所以直接让大模型输出的方式目前是不可靠的。下面总结下添加引文的常见方法。：有效果图片展示。

流程二：使用VLM对图片做文本摘要描述。得到的文本chunk送给大模型。流程一：多模态嵌入，对文本和图片分布做嵌入。使用query嵌入进行向量检索，使用得到的图片和文本送给VLM。流程三：使用VLM对图片做文本摘要描述。根据检索到的图像摘要的文本，得到原始图片。数据对象：表格，文本，图片。表格和文本视作一个模态，下述把二者统称为文本。流程：分别做摘要，做摘要嵌入，检索摘要，那对应的原文或表格送给大模型。数据对象：表格和文本。

RAPTOR是一种通过递归嵌入、聚类和总结文本块来构建树形结构的新方法，从而在不同层次上对长文档进行信息检索。

来源于《A Comprehensive Survey of Retrieval-Augmented Generation (RAG): Evolution, Current Landscape and Future Directions》

BM25（Best Matching 25）是一种基于词频和逆文档频率的排名函数，用于衡量文档与查询之间的相关性。在检索阶段，BM25 算法根据查询计算每个文档与查询的相关性得分，并排序返回相关文档。通过上述流程，BM25 可以有效地衡量文档与查询之间的相关性，为信息检索提供可靠的排序机制。：对所有文档计算与查询的 BM25 得分，形成一个文档得分列表。：根据得分从高到低排序文档，得分越高，文档与查询的相关性越强。：将每个查询词的得分累加，得到文档与查询的总相关性得分。：将用户的查询文本分割成词语列表。

大模型的指令遵循需要大参数量级的模型，但是推理成本高。更合适的方法是训练一个小模型。一般先进行SFT，再进行离线的DPO微调。：从提示的角度解决，方便。给一个系统提示词，再加上几个会话，都遵循输入一个用户Query，输出一个改写后的Query。在实际改写的时候，大模型会出现各种问题：不听指令、改写后的查询和数据库内容无关等。Query改写方法有子问题拆解、短语提取、回溯检索、虚拟文档等方法。