怎么理解Contextual-Retrieval ？（顺手讲一下prompt-cache）

最新推荐文章于 2025-05-31 09:45:00 发布
原创 最新推荐文章于 2025-05-31 09:45:00 发布 · 1.4k 阅读 · 25 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#算法 #人工智能

最近这个其实提的人挺多的，Graph RAG的火爆已经是上上个月的事了，其实我之前就讲过，Graph RAG是解决什么问题的，它也没法绝对替代传统RAG

        之前关于Graph-RAG的文章

        你为什么要用GraphGAG？(qq.com)

        详解MS的GraphRAG的实现流程 (qq.com)

        不说Graph擅长得全局问题，和关系梳理，就说它有得干不了得传统RAG领域，其实传统RAG在自己得领域干得也不见得就咋好，Athropic最近推得Contextual Retreival 其实是个不错得改进方案。

        它具体能改善哪里呢？

        举个最简单得例子，你提了一个问题

       "What was the revenue growth for ACME Corp in Q2 2023?"

        其实最有用得一个答案是

         "The company's revenue grew by 3% over the previous quarter."

       然后你经过向量数据库，基本不可能选到这个答案为最优，因为上面

最低0.47元/天 解锁文章
周博洋K
关注
论文解读|Anthropic提出Contextual Retrieval让RAG再进化，大幅降低检索失败率
AI学长
05-13 734
2024年9月，Anthropic发布了一种名为Contextual Retrieval的新方案，旨在提升RAG（Retrieval-Augmented Generation）系统的检索准确性。该方案通过结合上下文嵌入（Contextual Embeddings）和上下文BM25（Contextual BM25），将检索失败率降低了49%。传统RAG系统在处理大型知识库时，通常将文档分割成小块进行检索，但这种方式容易丢失上下文信息，导致检索结果不准确。Contextual Retrieval通过在嵌入和BM
大模型上下文窗口、Memory 与历史对话：深入理解与实践指南
最新发布
weixin_40362204的博客
12-11 973
模型的上下文长度限制是多少？Memory 和历史对话有什么区别？它们是否占用 token 上限？如何在实际项目中合理使用它们？本文将深入探讨这些概念，并结合实际代码示例，帮助你更好地理解和使用这些功能。上下文窗口（Context Window）是指模型在一次对话中能够处理的输入和输出 token 的总数上限。关键点：上下文窗口是输入 + 输出共享的！如果输入占用 30000 token那么输出最多约 10960 token（还要留一些缓冲）注意力机制的限制。
Anthropic分享RAG最佳实践：Contextual Retrieval！
lyy2017175913的博客
09-21 1720
对于不适合在上下文窗口内的知识库，RAG是典型的解决方案。RAG通过以下步骤预处理知识库：将知识库（文档的“语料库”）分解成较小的文本块，通常不超过几百个token；使用嵌入模型将这些块转换为编码意义的向量嵌入；将这些嵌入存储在允许按语义相似性搜索的向量数据库中。
Anthropic介绍Contextual Retrieval
weixin_41446370的博客
09-22 1543
上下文检索通过在嵌入之前将块特定的说明上下文添加到每个块(“上下文嵌入”)并创建BM25索引(“上下文BM25 ”)来解决此问题。让我们返回我们的SEC文件收集示例。值得注意的是,过去已经提出了使用上下文来改善检索的其他方法。其他建议包括: 将通用文档摘要添加到大块（我们进行了实验,发现收益非常有限）, 假设文件嵌入,和 基于摘要的索引（我们进行了评估,发现性能低下）。这些方法与本文中提出的方法不同。
上下文检索(Contextual Retrieval):一个显著提升RAG检索准确率的创新方法
老皮的博客
11-15 2032
在chunk编码前预先添加解释性的上下文信息,大幅提升检索准确率。技术组合建议:使用Voyage或Gemini的嵌入开启上下文嵌入和BM25添加重排序步骤检索前20个相关块各项技术优化叠加检索失败率最高降低67%显著提升下游任务表现上下文检索技术为RAG系统带来了革命性的提升,是构建高性能AI应用的重要工具。希望本文能帮助开发者更好地理解和应用这一技术创新!AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。
大模型 | Anthropic提出Contextual Retrieval让RAG再进化，大幅降低检索失败率
m0_56255097的博客
09-23 1252
研究团队通过大量的实验，为大家指出了一个新的提升 RAG 性能的方法，为开发者指出了实践新方向。嵌入+BM25 比单独使用嵌入效果更好（向量检索与文本检索相结合）；Voyage 和 Gemini 是测试中效果最好的嵌入模型；将前 20 个分块传递给模型比仅传递前 10 个或前 5 个分块更有效；为分块添加上下文显著提高了检索准确性；重排序比不重排序效果更好；
小学生也能听得懂的大模型 - Transformer 1
2401_85325557的博客
07-29 1576
参考 [小学生也能听得懂的大模型 Transformer 1]
CVPR 2024 图像生成方向总汇（视频合成/生成、纹理生成/合成、二维码生成、文本-矢量、手写数学表达式和文本-3D等）
qq_36812406的博客
01-21 1340
纹理生成/合成、二维码生成、文本-矢量、手写数学表达式和文本-3D等
生成式AI长文本困局破解：5项测试揭示谁真正突破上下文瓶颈？
# 生成式AI长文本处理的真正挑战：从“看见”到“理解”的认知跃迁 在大模型横扫千军的时代，我们早已习惯了这样的场景：上传一份PDF、粘贴一篇万字报告，然后轻点回车，等待AI给出摘要、分析或建议。这看似寻常的...
『深度长文』Anthropic推出全新“上下文检索”：大幅增加RAG检索准确性！
hunteritself的博客
09-23 1278
『深度长文』Anthropic推出全新“上下文检索”：大幅增加RAG检索准确性！
RAG其实并没有你想的那么简单，Late Chunking vs Contextual Retrieval解决上下文难题
weixin_59191169的博客
05-31 1081
RAG是一种将外部知识库检索与生成模型相结合的技术，不过最近的Agent，MCP喧嚣至上，包括DS-R1模型的热度，让RAG的技术热度下降了很多。甚至我和一些AI的从业者讨论基本技术的时候，大家对RAG嗤之以鼻。其实RAG一点都不简单，我今天就总结了一下RAG的经常遇到的“左右手”怎么选的问题，算是给自己的学习做个总结。
RAG大升级：上下文数据增强让检索准确率飙升67%！
2401_85328934的博客
10-02 1051
还在为RAG（检索增强生成）系统的检索准确率发愁吗？ 别担心，"上下文检索"（contextual retrieval）这个新概念可能就是你一直在寻找的解决方案。 一年前，这种方法因为成本高昂而被认为不切实际。但现在，随着小型语言模型（SLM）的飞速发展，这个曾经的"天方夜谭"已经变成了触手可及的现实。 一起来深入了解这个可能彻底改变RAG应用格局的技术吧！
OpenAI提供大模型的提示缓存（Prompt Caching）：GPT-4o系列模型输入价格下降一半，访问速度提升80%
Python_cocola的博客
12-19 3747
提示缓存（Prompt Caching）机制，用于减少在处理重复内容的长提示时的延迟和计算成本。这里的“提示”指的是你向模型发送的输入内容。在请求过程中，系统并不会每次都重新计算提示的前N个输入tokens，而是缓存先前的计算结果。这样，对于后续具有相同提示前缀的请求，系统就能够重用这些缓存数据，从而加速处理，减少延迟，并节省成本。缓存前1024个标记：系统会检查提示内容的前1024个标记是否与之前的请求相同，如果相同，就缓存这些标记的计算结果。缓存命中。
最强RAG技术？深入解析Anthropic的上下文检索与混合搜索
强化学习曾小健
10-20 806
这样一来,尽管文章D中"人工智能"出现的次数是文章C的3倍,但在BM25中,它的最终得分可能并不会比文章C高出太多。然而，检索技术的范畴远不止于此。但在BM25中,尽管文章B中"苹果"出现的次数是文章A的10倍,但它的得分并没有显著提高。通过这些改进,BM25能够更准确地评估文档相关性,不仅考虑了词频,还考虑了词频的饱和效应和文档长度的影响,因此在实际应用中往往能够取得比TF-IDF更好的效果。在TF-IDF中,词频与文档相关性的关系是简单的线性关系,也就是说,一个词出现的次数越多,文档的相关性就越高。
Anthropic重磅发布：上下文检索技术让RAG错误率暴跌67%
lyy2017175913的博客
09-20 1104
Anthropic最新发布的（Contextual Retrieval）技术，让RAG（检索增强生成）应用的错误检索率。这一突破性进展，有望彻底改变AI应用对文本理解的方式。
OpenAI 开发者大会！实时语音功能有API了，GPT-4o支持多模态微调，上下文cache功能上线
夕小瑶科技说
10-03 1160
在车道计数的准确性上Grab实现了20%的提升，在限速标志的定位上提高了13%，这些成绩均超过了原始的GPT-4o模型。OpenAI还提出了一种用前沿、高级的模型的输出微调GPT-4o mini的模式，例如用o1-preview 和 GPT-4o 等高级模型的输出，微调GPT-4o mini这类的小模型，从而实现更高效模型的性能。在开发者大会上，OpenAI还宣布了要开放实时API的公测版，允许所有开发者在自己的应用程序中实现使用GPT的实时、低延时、多模态的功能。
CTR预估中的WideAndDeep模型
fly_Xiaoma的博客
04-11 1005
目录 CTR预估系统的工作流程为： 以Google APP store为例，预测用户点击或者下载或者购买其中一个APP的概率。 Retrival： Ranking： WideAndDeep模型： Wide部分（线性模型，常用LR）： Deep部分（DNN）： 模型训练部分： 使用范围： 缺点： CTR预估系统的工作流程为： 大致分为两步： ...
langchain基础（三）
2302_79795489的博客
01-28 583
prompt | model | output_parser 把提示值传给模型，又把模型输出传给解析器。链让我们组合出复杂的流程，通过langchain表达式语言，组件之间的上下游关系也能表现得很清晰明了。提示模板、聊天模型和输出解析器都实现了langchain的runnable接口，（注意：链里聊天模型可以换成语言模型，提示模板和输出解析器也不是必须有的）| 表示把前面组件的输出作为后面组件的输入，也就是“管道操作”。把对多个组件的一系列调用，称为“链”（Chain）。都具有invoke方法（
Context-Aware Attention Network for Image-Text Retrieval——2021CVPR 中科院
weixin_49710179的博客
03-22 4173
一、研究背景 跨模态问题，图像–文本的双向检索严重依赖于每个图像-文本的联合嵌入学习以及相似性度量。很少有人同时探索单个模态中模态和语义相关性之间的对应。 二、作者对本文的贡献 1、提出了上下文感知注意力网络，可以从全局的角度基于给定的上下文来适应的选择信息片段。其中包括a：单个模态内的语义相关性 b：区域与单词之间的可能的对齐方式。 2、提出了使用语义注意力来捕获模态内的潜在相关性。并且图片选定区域与单词对其的二阶注意是具有可解释性的。 三、本文作者的动机 在以往的研究中，很少有人关注单一模态中，模态之间
Contextual-CSS：Node JS创建模块化CSS的革命性预处理器
资源摘要信息:"contextual-css:无类模块化CSS的预处理器" 上下文CSS（contextual-css）是一种预处理器工具，旨在创建以语义HTML驱动的模块化样式表。它适用于Node.js环境，并且仅依赖于一个名为“fs-extra”的模块...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值