基准测试检索增强生成（RAG）管道：指标、挑战与洞见

随着大型语言模型（LLMs）成为企业应用的核心，确保其输出的准确性、有根据性和相关性变得前所未有的重要。检索增强生成（RAG）通过将大型语言模型与外部文档检索相结合，增强了模型的能力，使其能够生成实时、情境感知的响应。然而，构建一个RAG系统并不足以保证其性能，还需要对其表现进行衡量，这就是RAG评估的用武之地——一种结构化的方法，用于评估RAG管道的检索和生成组件。本文将深入探讨RAG系统的基准测试，包括相关指标、面临的挑战以及从中获得的洞见。

一、RAG系统概述

RAG（检索增强生成）是一种方法，大型语言模型在查询时检索相关文档，并利用这些文档生成答案。这使得模型能够超越其训练数据，从实时、特定领域的来源中获取信息。

1.1 数据处理与索引

想象一家公司上传了数千份产品手册、客户支持记录和PDF指南。每个文档，无论是50页的手册还是简短的常见问题解答，都会被分割成小块，如单个段落或要点。

接着，每个小块都会被转换为数字格式（向量），以便系统能够理解其含义。例如，像“如何重置设备？”这样的句子会被转换为向量，并存储在Pinecone或FAISS等向量数据库中。这样，当有人提出相关问题时，系统就可以快速找到它。

1.2 数据检索与生成

假设客户问：“我如何重置我的智能恒温器？”系统会将这个问题转换为向量，并与数据库中存储的向量进行比较。

如果找到匹配的内容，比如来自故障排除指南的一段文字：“要重置智能恒温器，请按住电源按钮10秒钟……”，这段内容会被提取出来，并传递给像GPT这样的语言模型。

然后，该模型会利用这段内容生成一个有用的答案：“要重置您的智能恒温器，请按住电源按钮10秒钟，直到屏幕闪烁。这将恢复出厂设置。”

1.3 RAG的优势

• 减少幻觉：与独立的大型语言模型相比，RAG可将幻觉减少60%至90%。

• 提高事实准确性：使用RAG的企业在事实准确性方面有30%至50%的提升。

• 便于引用来源：能够为生成的答案提供来源引用，增加可信度。

• 连接私有或实时数据：70%的企业生成式人工智能系统现在使用RAG来连接私有或实时数据，使模型能够获取最新和特定领域的信息。

二、各行业RAG的应用情况

2024年，由于对个性化购物和内容的需求不断增长，零售和电子商务