【AI大模型】2个简单技巧把 RAG 检索准确率从 50% 提高到 95 %，看到就是赚到，收藏这一篇就够了！！

前言

在实际项目中，RAG（Retrieval-Augmented Generation）系统的检索阶段往往是影响生成效果的核心环节。RAG 系统的工作流程包括数据摄取（Data Ingestion）和数据查询（Data Querying），其中检索是至关重要的一步。本文介绍了在一个案例中，团队如何通过2个关键技巧把 RAG 检索准确率从 50% 提高到 95 %

1. 什么是 RAG 检索准确率？为什么它很重要？

RAG 检索准确率（Recall）是衡量检索系统能否找到与用户查询相关的所有文档的指标。它在 RAG 系统中尤为重要，因为如果检索阶段无法提供足够的上下文，即使生成模型再强大，也难以输出高质量结果。高检索准确率是确保生成内容相关性的基础。

检索准确率（Recall）公式如下：

示例：

用户查询 “Swedish massage in Helsinki”。
数据库中有 10 条相关文档，检索系统返回 9 条相关文档和 1 条不相关文档。
检索准确率计算：

2. 案例背景

在这个案例中，我们通过两个关键改进，使系统的检索准确率从 50-60% 提升至 95% 以上。此项目的背景是为客户服务团队构建一个内部聊天机器人，以帮助客服人员更快地访问信息。

项目初始阶段包括：

从各种系统中获取数据。
预处理、chunking 和 embedding 数据。
在 Azure AI Search 中构建搜索索引。
将聊天机器人连接到搜索索引。

数据包括有关地点（如水疗中心和健身房）和专家（如按摩治疗师和私人教练）的信息。数据通过将文本字段（描述、城市、地区）合并为一个内容字段，并为向量搜索创建 embeddings 来准备。

最初的搜索查询要么作为向量搜索，要么作为全文 BM25 搜索对内容字段运行。然而，系统仅在 50-60% 的时间内检索到正确的文档。

向量搜索不适合这个应用，因为它优先考虑模糊匹配和语义相似性，而我们的应用需要精确匹配。BM25 搜索也不够，因为它基于术语频率，导致包含更多匹配查询术语的文档优先显示，而不是匹配相关术语的文档。BM25 还存在芬兰语词形变化的问题，稍微的词形变化会阻止文档检索。

3. 初始方案的问题

系统采用了向量搜索 和BM25 全文搜索 的组合，然而：

向量搜索：基于语义相似性，但无法精确匹配具体的服务或位置。
BM25 搜索：依赖关键字频率，但会优先返回包含高频关键词但相关性低的文档。对于芬兰语等具有词形变化的语言，BM25 的效果进一步降低。

这些问题导致检索结果相关性不足，严重影响了用户体验。

4. 检索准确率从 50-60% 提升至 95% 的两个技巧

通过以下两项关键改进，系统的检索准确率得以显著提升：

1.利用 LLM 改写用户查询

解决方案：在查询阶段，借助 LLM 将用户输入改写为结构化查询。例如，将 “Swedish massage in Helsinki” 改写为服务字段包含 “Swedish massage” 且城市字段为 “Helsinki” 的查询。
实际效果：精准的查询改写显著提高了检索相关性，减少了 BM25 依赖于关键词频率的问题。
成本与问题：
性能开销：查询改写需要实时处理，在高并发场景中可能增加响应时间。
维护复杂度：需持续优化查询改写逻辑，以适应不断变化的用户需求。

2.利用 LLM 改进索引

解决方案：在索引阶段，使用大语言模型（LLM）从自由文本中提取服务信息，生成结构化服务列表作为索引字段。例如，从描述 “This spa offers Swedish massage and aromatherapy” 中提取 “Swedish massage” 和 “aromatherapy”。
处理非标准化输入：预处理步骤清洗拼写错误、语言变体等噪声，提升模型一致性。
实际效果：索引信息更加精确，解决了向量搜索中模糊匹配导致的相关性不足问题。
成本与问题：
计算成本：索引构建需要显著的计算资源，特别是在大规模数据场景中。
维护复杂度：动态服务信息需要持续更新，确保索引的准确性和实用性。

2个技巧把 RAG 检索准确率从 50% 提高到 95 %

6. 总结

本案例的关键收获如下：

核心在于检索阶段的优化：生成效果的提升离不开高质量的检索结果。
简单且有效的改进：通过 LLM 改进索引和查询改写，显著提升了系统性能。
成本与收益的权衡：虽然增加了部分计算和维护成本，但带来的用户体验提升是值得的。

高效的检索不仅为生成阶段提供了坚实基础，也证明了技术优化应聚焦于用户需求，避免盲目追求复杂性。

最后

为什么要学AI大模型

当下，⼈⼯智能市场迎来了爆发期，并逐渐进⼊以⼈⼯通⽤智能（AGI）为主导的新时代。企业纷纷官宣“ AI+ ”战略，为新兴技术⼈才创造丰富的就业机会，⼈才缺⼝将达 400 万！

DeepSeek问世以来，生成式AI和大模型技术爆发式增长，让很多岗位重新成了炙手可热的新星，岗位薪资远超很多后端岗位，在程序员中稳居前列。

在这里插入图片描述

与此同时AI与各行各业深度融合，飞速发展，成为炙手可热的新风口，企业非常需要了解AI、懂AI、会用AI的员工，纷纷开出高薪招聘AI大模型相关岗位。
在这里插入图片描述
最近很多程序员朋友都已经学习或者准备学习 AI 大模型，后台也经常会有小伙伴咨询学习路线和学习资料，我特别拜托北京清华大学学士和美国加州理工学院博士学位的鲁为民老师给大家这里给大家准备了一份涵盖了AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频 全系列的学习资料，这些学习资料不仅深入浅出，而且非常实用，让大家系统而高效地掌握AI大模型的各个知识点。