Anthropic分享RAG最佳实践：Contextual Retrieval

最新推荐文章于 2025-05-11 22:38:37 发布
最新推荐文章于 2025-05-11 22:38:37 发布
阅读量789 收藏 13
点赞数 25
CC 4.0 BY-SA版权
文章标签： 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/AIBigModel/article/details/143039044

先说结论，Anthropic提出了一种显著改进RAG中检索步骤的方法。这种方法被称为“上下文检索（Contextual Retrieval）”：

  • 它使用两种子技术：上下文嵌入（Contextual Embeddings）和上下文BM25

  • 这种方法可以将检索失败的次数减少49%

  • 并且当结合重排时，减少67%。

上下文检索（Contextual Retrieval）的出发点：RAG是一种从知识库检索相关信息并将其附加到用户提示上的方法，显著提升了模型的响应。但是传统的RAG解决方案在编码信息时会移除上下文，这常常导致系统无法从知识库中检索到相关信息。

关于仅使用更长提示的说明

有时最简单的解决方案就是最好的。如果你的知识库小于200,000个token（大约500页材料），你可以将整个知识库包含在你给模型的提示中，无需RAG或类似方法。

几周前，Anthropic为Claude发布了提示缓存，这使得这种方法显著更快且更具成本效益。开发者现在可以在API调用之间缓存经常使用的提示，减少延迟超过2倍，成本降低高达90%。

然而，随着你知识库的增长，你需要一个更可扩展的解决方案。这就是上下文检索发挥作用的地方。

RAG简介：扩展到更大的知识库

对于不适合在上下文窗口内的知识库，RAG是典型的解决方案。RAG通过以下步骤预处理知识库：

  • 将知识库（文档的“语料库”）分解成较小的文本块，通常不超过几百个token；

  • 使用嵌入模型将这些块转换为编码意义的向量嵌入；

  • 将这些嵌入存储在允许按语义相似性搜索的向量数据库中。

标准检索增强生成 (RAG) 系统使用嵌入和BM25来检索信息。TF-IDF（词频-逆文档频率）衡量词语重要性并构成 BM25 的基础。

图片

虽然嵌入模型在捕获语义关系方面表现出色，但它们可能会错过关键的精确匹配。幸运的是，有一种较老的技术可以在这些情况下提供帮助。BM25使用词汇匹配来找到精确的单词或短语匹配。它特别适用于包含唯一标识符或技术术语的查询。

RAG解决方案可以通过以下步骤结合嵌入和BM25技术，更准确地检索最适用的块：

  • 将知识库（文档的“语料库”）分解成较小的文本块，通常不超过几百个token；

  • 为这些块创建TF-IDF编码和语义嵌入；

  • 使用BM25基于精确匹配找到顶部块；

  • 使用嵌入基于语义相似性找到顶部块；

  • 使用排名融合技术结合并去重（3）和（4）的结果；

  • 将顶部K块添加到提示中以生成响应。

通过利用BM25和嵌入模型，传统的RAG系统可以提供更全面和准确的结果，平衡精确术语匹配与更广泛的语义理解。

这种方法允许你以成本效益的方式扩展到巨大的知识库，远远超出单个提示所能适应的范围。但这些传统的RAG系统有一个显著的限制：它们经常破坏上下文。

传统RAG中的上下文困境

在传统的RAG中，文档通常被分割成较小的块以便于检索。虽然这种方法对许多应用来说效果很好，但当单个块缺乏足够的上下文时，它可能会导致问题。

例如，想象你有一个金融信息集合（比如美国SEC文件）嵌入在你的知识库中，你收到了以下问题：“2023年第二季度ACME公司的收入增长是多少？”

一个相关的块可能包含这样的文本：“公司的收入比上个季度增长了3%。”然而，这个块本身并没有指定它指的是哪家公司或相关的时间段，这使得检索正确信息或有效使用信息变得困难。

上下文检索技术（Contextual Retrieval）

上下文检索通过在嵌入之前将块特定的解释性上下文附加到每个块之前（“上下文嵌入”）和创建BM25索引（“上下文BM25”）来解决这个问题。

回到SEC文件集合示例。这里有一个块如何被转换的例子：

original_chunk = "The company's revenue grew by 3% over the previous quarter."
contextualized_chunk = "This chunk is from an SEC filing on ACME corp's performance in Q2 2023; the previous quarter's revenue was $314 million. The company's revenue grew by 3% over the previous quarter."

中文：

原始块 = "公司的收入比上个季度增长了3%。" 上下文化块 = "这个块来自关于ACME公司2023年第二季度表现的SEC文件；上个季度的收入为3.14亿美元。公司的收入比上个季度增长了3%。"

值得注意的是，过去曾提出过使用上下文来改进检索的其他方法。其他提议包括：向块添加通用文档摘要（实验看到非常有限的收益），假设性文档嵌入（HyDE）和基于摘要的索引（进行了评估，效果不佳）。这些方法与上下文检索方法不同。

上下文检索实现

当然，手动注释知识库中的成千上万甚至数百万块会是太多工作。为了实施上下文检索，基于Claude模型，使用整个文档的上下文为每个块提供简洁的、块特定的上下文。使用了以下Claude 3 Haiku Prompt为每个块生成上下文：

<document> {{WHOLE_DOCUMENT}} </document> Here is the chunk we want to situate within the whole document <chunk> {{CHUNK_CONTENT}} </chunk> Please give a short succinct context to situate this chunk within the overall document for the purposes of improving search retrieval of the chunk. Answer only with the succinct context and nothing else.

生成的上下文文本，通常为50-100个token，会在嵌入索引和BM25索引之前附加到块上。

Contextual Retrieval实际中的预处理流程：上下文检索是一种提高检索准确性的预处理技术。

图片

使用Prompt Caching降低上下文检索的成本

上面提到的特殊的提示缓存功能，上下文检索在Claude上是可能以低成本实现的。有了提示缓存，你不需要为每个块传入参考文档。你只需将文档加载到缓存中一次，然后引用先前缓存的内容。假设800 token的块，8k token的文档，50 token的上下文指令，每个块100 token的上下文，一次性生成上下文化块的成本是每百万文档token 1.02美元。

上下文检索性能提升

在各种知识领域（代码库、小说、ArXiv论文、科学论文）进行了实验，嵌入模型、检索策略和评估指标，实验表明：

  • 上下文嵌入将Top20个块的检索失败率降低了35%（5.7% → 3.7%）。

  • 结合上下文嵌入和上下文BM25将Top20个块的检索失败率降低了49%（5.7% → 2.9%）。

使用表现最佳的嵌入配置（Gemini Text 004）检索前20个块时所有知识领域的平均性能

图片

通过重排（Reranking）进一步提高性能

在最后一步中，可以结合上下文检索和另一种技术来获得更多的性能改进。在传统的RAG中，AI系统搜索其知识库以找到可能相关的信息块。对于大型知识库，初始检索通常会返回大量（有时是数百个）具有不同相关性和重要性的块。

Reranking是一种常用的过滤技术，确保只有最相关的块被传递到模型。重新排名提供了更好的响应，并降低了成本和延迟，因为模型处理的信息更少。关键步骤是：

  • 执行初始检索以获取Top潜在相关的块（使用了Top150个）；

  • 将TopN块和用户的查询一起通过重新排名模型；

  • 使用重新排名模型，根据其与提示的相关性和重要性给每个块打分，然后选择TopK块（使用了Top20个）；

  • 将TopK块作为上下文传递到模型以生成最终结果。

结合上下文检索和重新排序来最大化检索准确性

图片

上下文检索性能进一步改进

使用Cohere重新排名器进行了测试，实验表明，在各个领域，添加重新排序步骤可以进一步优化检索。

具体来说，发现重新排名的上下文嵌入和上下文BM25将Top20块的检索失败率降低了67%  （5.7% → 1.9%）。

图片

结论

Anthropic进行了大量的测试，比较了上述所有技术的不同组合（嵌入模型、使用BM25、使用上下文检索、使用重新排名器和检索的TopK结果），所有这些都在不同类型的数据集上进行了测试，总结如下：

  • 嵌入+BM25比单独使用嵌入更好；

  • Voyage和Gemini具有最好的嵌入；

  • 将Top20块传递给模型比仅Top10或5更有效；

  • 向块添加上下文大大提高了检索准确性；

  • 重新排名比不重新排名更好；

  • 所有这些好处都是叠加的：为了最大化性能改进，可以结合上下文嵌入（来自Voyage或Gemini）、上下文BM25，加上重新排名步骤，并添加20个块到提示中。

附录I

以下是跨数据集、嵌入提供商、使用BM25+嵌入、使用上下文检索以及对检索@20的重新排名的使用结果细分。

图片

向块中添加通用文档摘要：https://aclanthology.org/W02-0405.pdfHyDE：https://arxiv.org/abs/2212.10496Summary-based indexing：https://www.llamaindex.ai/blog/a-new-document-summary-index-for-llm-powered-qa-systems-9a32ece2f9ec记得

大模型51

大模型 · 目录

上一篇2024年新书-《掌握大语言模型》免费pdf分享

AIBigModel
关注
RAG新思路降低检索错误率：为文档划分的每个块进行大模型上下文构建
weixin_42357472的博客
09-20 121
【代码】RAG新思路降低检索错误率：为文档划分的每个块进行大模型上下文构建。
从零开始：构建支持上下文窗口的AI原生应用实战指南
最新发布
AI天才研究院
05-28 995
随着大语言模型（LLM）的普及，AI原生应用已从“单次交互”向“多轮智能对话”“长文档分析”“持续学习”等复杂场景演进。这类应用的核心瓶颈是上下文窗口（Context Window）——LLM能同时处理的最大token数（如GPT-4的8k/32k，Claude 3的1M，LLaMA 3的40k）。上下文窗口的技术本质与应用约束动态上下文管理的核心策略（滑动窗口、向量检索、记忆压缩）从0到1构建支持长上下文的AI应用实战（聊天机器人/文档助手）性能优化与生产环境部署经验。
Anthropic分享RAG最佳实践：Contextual Retrieval！
lyy2017175913的博客
09-21 1506
对于不适合在上下文窗口内的知识库，RAG是典型的解决方案。RAG通过以下步骤预处理知识库：将知识库（文档的“语料库”）分解成较小的文本块，通常不超过几百个token；使用嵌入模型将这些块转换为编码意义的向量嵌入；将这些嵌入存储在允许按语义相似性搜索的向量数据库中。
大模型 | Anthropic提出Contextual Retrieval让RAG再进化，大幅降低检索失败率
m0_56255097的博客
09-23 1108
研究团队通过大量的实验，为大家指出了一个新的提升 RAG 性能的方法，为开发者指出了实践新方向。嵌入+BM25 比单独使用嵌入效果更好（向量检索与文本检索相结合）；Voyage 和 Gemini 是测试中效果最好的嵌入模型；将前 20 个分块传递给模型比仅传递前 10 个或前 5 个分块更有效；为分块添加上下文显著提高了检索准确性；重排序比不重排序效果更好；
上下文检索(Contextual Retrieval):一个显著提升RAG检索准确率的创新方法
老皮的博客
11-15 1718
在chunk编码前预先添加解释性的上下文信息,大幅提升检索准确率。技术组合建议:使用Voyage或Gemini的嵌入开启上下文嵌入和BM25添加重排序步骤检索前20个相关块各项技术优化叠加检索失败率最高降低67%显著提升下游任务表现上下文检索技术为RAG系统带来了革命性的提升,是构建高性能AI应用的重要工具。希望本文能帮助开发者更好地理解和应用这一技术创新!AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。
Anthropic介绍Contextual Retrieval
weixin_41446370的博客
09-22 1457
上下文检索通过在嵌入之前将块特定的说明上下文添加到每个块(“上下文嵌入”)并创建BM25索引(“上下文BM25 ”)来解决此问题。让我们返回我们的SEC文件收集示例。值得注意的是,过去已经提出了使用上下文来改善检索的其他方法。其他建议包括: 将通用文档摘要添加到大块（我们进行了实验,发现收益非常有限）, 假设文件嵌入,和 基于摘要的索引（我们进行了评估,发现性能低下）。这些方法与本文中提出的方法不同。
小学生也能听得懂的大模型 - Transformer 1
2401_85325557的博客
07-29 1445
参考 [小学生也能听得懂的大模型 Transformer 1]
通过 Markdown 改进 RAG 文档处理通过 Markdown 改进 RAG 文档处理作者：Tableau原文地址：https://zhuanlan.zhihu.com/p/291397
zengxiaojian2的博客
04-04 874
2025年04月03日 08:01广东。
为什么没人真的用好RAG，坑都在哪里? 谈谈RAG技术架构的演进方向
chenhong007的博客
04-11 1946
我们回顾了现代检索增强生成（RAG）架构的演变历程。检索增强生成（RAG）并没有过时，而且在短期内也不会被淘汰。我认为，在未来一段时间内，这些架构将继续发展，学习它们并了解何时使用何种架构是一项不错的投资。一般来说，架构越简单越好，因为当你把系统变得更复杂时，将会面临新的挑战。难以对端到端系统进行评估。由于需要多次调用大型语言模型（LLM），导致端到端延迟增加。运营成本上升。
Model Context Protocol (MCP) 简介
AI天才研究院
05-11 318
Model Context Protocol (MCP) 是一个开放协议，旨在标准化应用程序如何为大型语言模型（LLMs）提供上下文。MCP 类似于 AI 应用的 USB-C 接口，提供了一种标准化的方式，将 AI 模型连接到不同的数据源和工具。MCP 的核心架构采用客户端-服务器模式，主机应用程序可以连接到多个服务器，访问本地和远程数据源。MCP 提供了预构建的集成、灵活的 LLM 供应商切换以及数据安全的最佳实践。开发者可以根据需求选择快速入门指南，构建自己的服务器或客户端，或使用预构建的服务器。MCP
怎么理解Contextual-Retrieval ？（顺手讲一下prompt-cache）
周博洋的博客
10-10 1378
如上面所示，原始得chunk，是两个"The"，导致不管是embedding还是BM25都抓不出来它，那要是把original_chunk，通过某种手段，给转换成下面这种contextualized_chunk，把上下文信息给注入到chunk离，这下，如果还是刚才得问题，那必然是一问一个准。有人说用Hybrid RAG是不是能强点，比如上图，此时，你是加BM25 关键字，还是加Graph-RAG都没啥用，你懂得，因为回答是一系列得"The"指代，并没有和问题中得描述有关键字匹配，也没法建立节点和边得关系。
深入现有RAG，找出性能和效率的最佳实践
Debroon
07-10 1662
检索即生成”（Retrieval as Generation）策略是一种结合检索和生成模型来快速提供多模态内容的方法，特别是在视觉问答（Visual Question Answering, VQA）等应用中。作者描述了两种实施检索增强生成（RAG）系统的最佳实践方法，每种方法都针对特定需求进行了定制：一种注重最大化性能，另一种在效率和效果之间寻求平衡。：研究旨在通过实验确定 RAG 的最佳实践，包括评估不同方法对整体性能的影响，并最终选择每个步骤最有效的方法。：实现这些步骤存在多样性和复杂性。
『深度长文』Anthropic推出全新“上下文检索”：大幅增加RAG检索准确性！
hunteritself的博客
09-23 1184
『深度长文』Anthropic推出全新“上下文检索”：大幅增加RAG检索准确性！
RAG 召回提升相关方案分享
weixin_41299138的博客
07-24 380
最近大半年时间都在做RAG的工作，分享一点个人探索的方向。和提升的方案。文章中会分享是如何做的，以及对应的效果。核心问题如何提升RAG的效果？如何提升召回的准确率。写在前边：已验证的方案方案优化方向效果备注3.1 优化分词器 英文去除停顿词，单复数标准化解决了badcase3.2 分词器使用IK分词器BM召回率提升了1%...
行业落地分享：文档解析与RAG应用落地
m0_59235245的博客
09-26 899
RAG（Retrieval-Augmented Generation）的应用正逐渐成为推动技术进步的关键力量。本文将深入探讨如何通过文档解析与向量化技术，加速RAG模型在实际应用中的落地。演讲人常扬，作为合合信息智能创新事业部的研发总监，以及复旦大学的博士，将为我们带来他独到的见解。
Anthropic重磅发布：上下文检索技术让RAG错误率暴跌67%
lyy2017175913的博客
09-20 1044
Anthropic最新发布的（Contextual Retrieval）技术，让RAG（检索增强生成）应用的错误检索率。这一突破性进展，有望彻底改变AI应用对文本理解的方式。
Anthropic发了一篇Agent年度雄文，全是知识点。
Everly_的博客
12-23 803
Agent” 可以有多种定义。一些客户将其定义为能够自主操作并长时间独立执行任务的系统，这类系统能够利用各种工具来完成复杂的任务。而另一些客户则使用这个术语来描述那些遵循预定义工作流的系统。在 Anthropic，我们将所有这些变体统一归类为 Agent 系统，但在架构上我们明确区分了工作流和 Agent：工作流系统是通过预定义的代码路径来协调 LLM 和工具的系统。Agent 则是由 LLM 动态指导，自主执行任务的过程和工具使用，控制完成任务的方式。
RAG 检索大升级：BM25 与 RRF 助力 LLMs 精准破局
m0_59164520的博客
08-20 1604
BM25（最佳匹配25）和RRF（倒数秩融合）是两种在检索增强生成（RAG）系统中用于改进大型语言模型（LLMs）检索步骤的技术。以下将详细介绍它们的工作原理及其在RAG流程中的作用。BM25是一种概率信息检索模型，它基于与查询的相关性对文档进行排名。作为传统TF-IDF模型的扩展，BM25在许多检索任务中表现出色，因此被广泛应用。：指一个术语在文档中出现的次数。BM25通过考虑文档长度来调整这一指标，避免较长的文档由于术语频繁出现而被错误地赋予更高权重。：衡量一个术语在所有文档中出现的稀有程度。
LLM之RAG实战（二十五）| 使用LlamaIndex和BM25重排序实践
wshzd的博客
02-10 3270
通过将BM25等最先进的排名算法与先进的重新排序技术和GPT-4或Mistral等尖端语言模型相集成，advanced RAG为处理复杂的查询任务提供了一个强大而灵活的解决方案。无论是在提高搜索引擎的准确性、提高聊天机器人中响应的相关性，还是在推进知识系统的前沿领域，高级RAG证明了人工智能驱动的语言理解和信息处理的不断发展和成熟。使用本地LLM和本地嵌入模型（Mistral）修改代码，在上面的代码中，只需注释现有的OpenAI GPT-4 LLM并使用下面的代码。之类的标准来调整排序。
langgraph中ANTHROPIC_API_KEY:
03-15
### 配置和使用 ANTHROPIC_API_KEY 的方法 要在 LangGraph 中配置和使用 `ANTHROPIC_API_KEY`，需要遵循一系列标准操作来确保 Anthropic 模型能够正常运行。以下是具体说明： #### 1. 设置环境变量 为了使 Anthropic 功能生效，必须先定义 `ANTHROPIC_API_KEY` 环境变量。此步骤是访问 Anthropic 提供的服务的基础[^2]。 ```bash export ANTHROPIC_API_KEY=<your-anthropic-api-key> ``` 上述命令应在终端执行，其中 `<your-anthropic-api-key>` 是由 Anthropic 提供给用户的唯一密钥字符串。如果希望该设置永久化，则可将其添加至 `.bashrc` 或 `.zshrc` 文件中。 #### 2. 安装必要的依赖项 在使用 Anthropic 和 LangChain 结合的功能之前，需安装 LangChain CLI 工具以及 Python 库。可以通过以下命令完成安装过程[^3]: ```bash pip install langchain anthropic ``` 这一步骤将下载并安装所需的所有库文件，从而支持后续的开发工作。 #### 3. 整合到 LangGraph 中 当完成了前两步之后，在实际项目代码里初始化 LangChain 并加载 Anthropic 模型变得简单明了。下面是一个简单的例子展示如何实现这一点: ```python from langchain.llms import Anthropic import os os.environ["ANTHROPIC_API_KEY"] = "<your-anthropic-api-key>" llm = Anthropic() response = llm.predict("What is the capital of France?") print(response) ``` 在此脚本中，首先导入了所需的模块，并设置了环境变量以匹配先前所提到的方法。接着实例化了一个基于 Anthropic 的 LLM 对象，并调用了预测函数来进行测试查询。 --- ### 总结 通过以上三个主要部分的操作——即正确设定 API 密钥作为环境变量、安装必需软件包以及编写适当的应用程序逻辑——就可以顺利地在 LangGraph 上面利用 Anthropic 提供的语言处理能力[^1]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值