43 LlamaIndex自定义检索器:简单混合搜索教程

LlamaIndex自定义检索器:简单混合搜索教程

在本教程中,我们将展示如何定义一个非常简单的混合搜索版本!结合关键词查找检索和向量检索,使用“AND”和“OR”条件。

设置

如果你在Colab上打开此笔记本,你可能需要安装LlamaIndex。

!pip install llama-index

设置OpenAI API密钥:

import os

os.environ["OPENAI_API_KEY"] = "sk-..."

下载数据

!mkdir -p 'data/paul_graham/'
!wget 'https://raw.githubusercontent.com/run-llama/llama_index/main/docs/docs/examples/data/paul_graham/paul_graham_essay.txt' -O 'data/paul_graham/paul_graham_essay.txt'

加载数据

首先展示如何将文档转换为一组节点,并插入到文档存储中。

from llama_index.core import SimpleDirectoryReader

# 加载文档
documents = SimpleDirectoryReader("./data/paul_graham").load_data()
from llama_index.core import Settings

nodes = Settings.node_parser.get_nodes_from_documents(documents)
from llama_index.core import StorageContext

# 初始化存储上下文(默认是内存中)
storage_context = StorageContext.from_defaults()
storage_context.docstore.add_documents(nodes)

定义向量索引和关键词表索引

我们在相同的文档存储上构建向量索引和关键词索引。

from llama_index.core 
### Llama Index 混合检索实现方法 为了实现Llama Index中的混合检索功能,可以采用`QueryFusionRetriever`来融合向量检索和BM25检索的结果。这使得能够更有效地结合两种不同类型的索引来提升查询质量[^1]。 具体来说,在相同的`DocumentStore`上分别构建了向量索引和关键词索引: ```python from llama_index.core import SimpleKeywordTableIndex, VectorStoreIndex vector_index = VectorStoreIndex(nodes, storage_context=storage_context) keyword_index = SimpleKeywordTableIndex(nodes, storage_context=storage_context) ``` 通过上述代码片段创建两个独立但基于同一存储上下文的索引实例,即实现了对文档集合的同时支持向量相似度匹配以及传统关键字查找的能力[^2]。 接着定义并配置自定义检索器以完成最终的数据获取逻辑。下面是一个简单的例子展示如何设置这样的混合检索机制: ```python from llama_index.retrievers.query_fusion_retriever import QueryFusionRetriever retriever = QueryFusionRetriever( vector_store_index=vector_index, keyword_table_index=keyword_index, top_k=5 # 返回前五个最相关的条目作为结果 ) response = retriever.retrieve(query="这里是你想要搜索的问题") for doc in response: print(doc.text) ``` 这段代码展示了怎样初始化一个`QueryFusionRetriever`对象,并指定要使用的向量索引和关键词表索引;同时设置了返回的最大项数(`top_k`)参数。最后调用了`retrieve()`函数执行实际的查询操作,并打印出找到的相关文档摘要。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

需要重新演唱

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值