使用多向量索引提高检索精度：深入探讨命题检索技术

最新推荐文章于 2025-11-26 15:40:52 发布
原创 最新推荐文章于 2025-11-26 15:40:52 发布 · 605 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python

引言

在现代信息检索领域，如何有效地提高检索的精度始终是一个关键问题。Chen等人在他们的论文《Dense X Retrieval: What Retrieval Granularity Should We Use?》中提出的命题检索技术为我们提供了一种新颖的解决方案。本篇文章将介绍这一技术的核心概念、实现步骤，以及潜在的挑战和解决方案。

主要内容

多向量索引策略

多向量索引策略旨在通过对文本进行更细粒度的处理，生成“命题”，以增加检索的准确性。这些命题可以被向量化，从而提升检索系统的表达能力。

存储方案

在本次演示中，我们使用了RecursiveUrlLoader来索引简单的学术论文，并将所有检索信息本地存储。这一过程使用chroma和本地文件系统上的bytestore进行管理。您可以在storage.py中修改存储层。

环境设置

首先，设置OPENAI_API_KEY环境变量以访问GPT-3.5和OpenAI Embeddings类。

索引创建

运行以下命令以创建索引：

poetry install
poetry run python propositional_retrieval/ingest.py

使用方法

LangChain CLI 的安装

pip
最低0.47元/天 解锁文章
tt_jishu
关注
提升检索精度的多向量索引策略：深入了解命题检索
stjklkjhgffxw的博客
09-27 651
命题检索提供了一种创新的提高检索精度的方法。通过多向量索引策略，我们可以在复杂查询中获得更准确的结果。LangChain 文档OpenAI 官方指南。
一文了解Milvus2.4新特性和多向量搜索体验
DigitalChina_DCG的博客
06-18 2447
比如：先提取人员A的脸部照片向量、声纹向量，然后在 Milvus 中，把人员A的脸部照片向量在众多人员的脸部向量中进行搜索，并且把人员A的声纹向量在众多人员的声纹向量中搜索，最后根据设定的两个模态向量的权重，对两个向量搜索结果重新排序，这样得到的结果，要比单向量搜索的更加准确。多向量搜索的时候，我使用的还是同一张图片，并且我是用同一张图片在两个向量中搜索的，权重设置的是，第一张照片的向量占60%，第二张照片的向量占40%。说明多向量搜索，能弥补单向量搜索的不足，让搜索的结果准确度更高。
使用多向量检索技术提高文档检索效率
qq_29929123的博客
08-12 862
为每个文档生成一个摘要,并将摘要向量与原文向量一起存储。# 创建摘要生成链# 生成摘要# 将摘要和原文一起添加到向量存储# 使用API代理服务提高访问稳定性多向量检索技术通过为每个文档存储多个语义向量,显著提高了文档检索的准确性和灵活性。本文介绍了实现多向量检索的几种主要方法,包括文档分块、摘要生成和假设性问题生成,并展示了如何使用LangChain框架实现这一技术。虽然多向量检索带来了一些挑战,如存储空间增加和检索时间延长,但通过适当的优化策略,这些问题都可以得到有效解决。
提升检索准确性的妙招：多向量索引策略详解
afTFODguAKBF的博客
11-15 980
多向量索引策略通过将文本分解为更小的子单元（命题），并对每个单元进行独立的向量化处理，以提高检索的精细度。该策略的核心在于通过大型语言模型（LLM）生成高质量的去上下文化命题，这些命题可以更精准地映射到向量空间中，从而提高信息检索的匹配度。多向量索引策略为信息检索的精细度提升提供了一个创新性的解决方案。通过合理的实现与应用，可以显著提高检索系统的准确性和效率。
LLM之RAG实战（三十）| 探索RAG语义分块策略
wshzd的博客
03-15 3163
proposition被定义为文本中的原子表达式，每个命题都封装了一个不同的事实，并以简洁、自包含的自然语言格式呈现。然后，将多个连续句子的这些向量表示输入到Bi-LSTM（图4（b））或另一个BERT（图4），以预测每个句子是否是文本分割边界。最常用的分块方法是基于规则的，采用固定的块大小或相邻块的重叠等技术。然而，这种方法依赖于LLM，这是相对昂贵的。然而，在实际应用中，由于严格的预定义规则（块大小或重叠部分的大小），基于规则的分块方法很容易导致检索上下文不完整或包含噪声的块大小过大等问题。
使用多向量索引提升检索精度——基于Dense X Retrieval的实践指南
qahaj的博客
02-19 392
在信息爆炸的时代，如何从海量数据中高效地检索出相关信息，是许多AI应用面临的挑战。传统的检索方法通常依赖于单一向量来表示文本信息，但这种方法在面对复杂多样的信息时，可能会导致检索精度的不理想。为了解决这一问题，Chen等人提出了Dense X Retrieval方法，通过生成和使用"命题"多向量来提高检索精度。在本文中，我们将详细介绍这一策略，并演示如何在实际项目中应用。
从零开始解析RAG（四）：索引优化——多表示、分层与嵌入
qq_34731663的博客
03-19 2172
本文探讨索引阶段的优化技巧，主要聚焦于 3 种方法：对同一文档生成多种表示的形式的多表示索引，构建分层索引的 Raptor 以及基于 token 嵌入的ColBERT。下一篇文章将探讨检索阶段的优化技巧，敬请期待。
大模型的检索增强生成综述研究
人工智能讲师分享前沿技术
10-21 2359
大模型（LLMs）在处理特定领域或知识密集型任务时，它们仍面临挑战，例如产生“幻觉”、知识过时以及推理过程不透明、难以追溯等问题。为了解决这些问题，检索增强生成（Retrieval-Augmented Generation, RAG）作为一种有前景的解决方案应运而生，它通过整合外部数据库的知识来增强模型的准确性和可信度。本综述论文由来自同济大学上海智能自主系统研究所、复旦大学上海数据科学重点实验室以及同济大学设计创意学院的研究人员共同撰写。
深入理解 Propositional Retrieval：提升信息检索的精准度
ppoojjj的博客
08-15 884
Propositional Retrieval 是由 Chen 等人在论文《Dense X Retrieval: What Retrieval Granularity Should We Use?》中提出的多向量索引策略。这种方法的核心思想是将文本拆分成去语境化的"命题"（propositions），然后对这些命题进行向量化，从而提高检索的准确性。Propositional Retrieval 为提高信息检索的精度提供了一种创新方法。
[深入解读命题检索：提高检索精度的多向量索引策略]
akhfuiigabv的博客
10-15 513
命题检索通过生成上下文无关的“命题”，对文本进行提炼和矢量化，以此提高信息检索的精确度。这种方法使用大规模语言模型（LLM）生成命题，从而实现更高效的索引和查询。命题检索通过多向量索引显著提高了信息检索的精度。对于想进一步研究的读者，可以考虑深入阅读相关论文，或探索LangChain和LangSmith工具的高级功能。
Advanced RAG 05：探讨基于文本内在语义信息的数据分块方法
Baihai_IDP的博客
04-30 1992
但是，如果在这些小数据块（small chunks）中找不到完整的信息，递归检索器（recursive retriever）会将相关的大数据块（larger chunks）传递到生成阶段（generation stage）进一步处理，就像我们在书中某个小节或段落查找资料时，如果需要更多信息，就会翻到相关的章节或整本书一样。通过 Semantic chunking（译者注：一种根据文本中的语义信息将文本分成有意义的片段或块的过程） ，希望每个数据块所包含的信息在语义上相对独立，以便更好地进行分析和处理。
【RAG】Dense X Retrivel：合适的检索粒度对RAG的重要性（浅看命题粒度的定义及分解方法）
余俊晖，NLP炼丹师，目前专注自然语言处理领域研究。曾获得国内外自然语言处理算法竞赛TOP奖项近二十项。
07-03 1538
在传统的密集检索中，常见的检索单元包括文档、段落或句子。然而，这些单元的选择可能会影响检索性能和下游任务的效果。例如，段落可能包含与问题无关的额外细节，而句子可能过于复杂或缺乏必要的上下文信息。为了解决这些问题，提出了使用“命题”作为新的检索单元。命题在文中被定义为文本中的原子表达，每个命题都包含一个独特的事实片段，并以简洁、自包含的自然语言格式呈现。例如，在讨论比萨斜塔的倾斜角度时，可以提取出以下命题：“比萨斜塔现在大约倾斜3.99度。”这个命题简洁地回答了问题，并且包含了必要的上下文信息。
探索命题检索：如何提高检索粒度和准确性
tt_jishu的博客
10-04 536
命题检索通过利用语言模型生成去上下文化的句子或短语（即“命题”），然后对这些命题进行向量化，以提升检索系统的准确性。这种方法能更好地捕捉文本中的核心思想，避免传统关键字匹配的局限。命题检索通过细粒度的文本处理，显著提高了信息检索的准确性。深入了解LangChain和FastAPI的使用有助于更好地实现这一策略。
LLM之RAG实战（二十）| RAG分块策略的五个level
wshzd的博客
01-24 2888
在RAG系统中，包括检索和生成两大组件，而检索的关键是对数据的分块策略，本文将根据Greg Kamradt的视频（https://www.youtube.com/watch?递归分块使用一组分隔符，以分层和迭代的方式将文本划分为更小的块。如果最初分割文本的尝试没有产生所需大小的块，则该方法会使用不同的分隔符递归地调用结果块，直到达到所需的块大小。这种方法考虑了内容的流动和结构，但可能不是缺乏明确结构的文件。类，该类允许使用块之间的上下文关系将文档拆分为块，使用嵌入相似性自适应地选择句子之间的断点。
大模型知识问答: 文本分块要点总结
机器学习社区
07-08 2246
用较大chunk_size去字符切分文本，然后对大文本块用LLM做总结，作为摘要块加入向量数据库中。能在一定程度解决前面提到的问题1。
使用多向量索引策略进行命题检索的实现指南
ppoojjj的博客
06-17 395
多向量索引策略旨在提高检索精度。这种策略的核心思想是通过生成上下文无关的“命题”，然后将其向量化，以提高检索的准确性。我们将使用LangChain库来实现这一策略。
Python自动化测试框架开发
最新发布
2509_93945719的博客
11-26 393
封装requests时踩过坑，最初简单包装成通用方法，后来发现不同模块需要不同的超时策略和重试机制。框架开发过程中最大的体会是：好的设计不是一次性完成的，而是在不断踩坑、重构中迭代出来的。记住，自动化测试的终极目标不是追求100%覆盖率，而是用最小成本快速发现质量问题。最直观的变化是测试周期从原来的3天缩短到8小时，版本发布再也不用全员熬夜了。pytest的夹具机制比unittest灵活太多，特别是parametrize参数化，能轻松实现数据驱动。决定动手搭个统一的测试框架，把乱七八糟的脚本规范起来。
Java总结进阶之路 （基础二 ）
2509_94006474的博客
11-24 796
提示：java总结学习之路。
Python在机器学习中的模型训练
2509_93937153的博客
11-26 213
上周对比SVM和随机森林时，用Pipeline把预处理和训练步骤串起来，cross_val_score直接出十折交叉验证结果，整个实验可复现性极高。数据预处理这块绝对是重头戏。最近在做回归项目，r2_score和mean_squared_error这几个指标函数随调随用，省去了自己实现的麻烦。但平心而论，在常规业务场景下，从数据探索到模型上线的整个生命周期，Python的生态链确实做到了无缝衔接。很多库的默认参数就够用，想要精细调控又能深入底层，这种灵活性才是我们坚持用Python搞机器学习的根本原因。
LSH图像检索技术：特征提取与压缩处理
由于哈希的局部敏感性，算法可以在一定程度上保持相似图像特征的邻近性，提高检索效率。 ### 结论 LSH图像检索技术通过降低高维特征向量到低维哈希桶的映射，大大提高了图像检索的速度，尽管牺牲了一定的准确性，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值