[提升信息检索效果：组合多个Retriever的结果]

最新推荐文章于 2025-10-16 09:04:37 发布

原创最新推荐文章于 2025-10-16 09:04:37 发布 · 518 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#windows #python

提升信息检索效果：组合多个Retriever的结果

引言

当我们进行信息检索时，通常会面临多个算法各有优缺点的问题。使用单一算法可能无法全面捕捉信息。通过结合多个检索器（Retriever）的结果，我们可以利用不同算法的优势来提升整体检索性能。这篇文章将介绍如何使用EnsembleRetriever来组合多个Retriever的结果，尤其是结合稀疏检索器（如BM25）和密集检索器（如Embedding相似性），实现所谓的“混合搜索”。

主要内容

EnsembleRetriever简介

EnsembleRetriever通过重排多个组成检索器的结果来实现结果的集成。这通常使用互惠排名融合（Reciprocal Rank Fusion）算法，从而提高检索效率。以下是一些关键要点：

稀疏检索器：如BM25，擅长基于关键词的文档检索。
密集检索器：如基于Embeddings的相似度检索器，擅长基于语义相似性的文档检索。

基本使用示例

下面我们展示如何将BM25Retriever与FAISS向量存储中的检索器结合使用。

# Install the necessary package
# %pip install --upgrade --quiet rank_bm25 > /dev/null

from langchain.retrievers import EnsembleRetriever
from langchain_community.retrievers import BM25Retriever
from langchain_community.vectorstores import FAISS
from langchain_openai import OpenAIEmbeddings

doc_list_1 = [
    "I like apples",
    "I like oranges",
    "Apples and oranges are fruits",
]

# 初始化BM25检索器和FAISS检索器
bm25_retriever = BM25Retriever.from_texts(
    doc_list_1, metadatas=[{"source": 1}] * len(doc_list_1)
)
bm25_retriever.k = 2

doc_list_2 = [
    "You like apples",
    "You like oranges",
]

embedding = OpenAIEmbeddings()
faiss_vectorstore = FAISS.from_texts(
    doc_list_2, embedding, metadatas=[{"source": 2}] * len(doc_list_2)
)
faiss_retriever = faiss_vectorstore.as_retriever(search_kwargs={"k": 2})

# 初始化EnsembleRetriever
ensemble_retriever = EnsembleRetriever(
    retrievers=[bm25_retriever, faiss_retriever], weights=[0.5, 0.5]
)

docs = ensemble_retriever.invoke("apples")
print(docs)

运行时配置

可以使用可配置字段在运行时对单个检索器进行配置。例如，我们可以更新FAISS检索器的“top-k”参数：

from langchain_core.runnables import ConfigurableField

faiss_retriever = faiss_vectorstore.as_retriever(
    search_kwargs={"k": 2}
).configurable_fields(
    search_kwargs=ConfigurableField(
        id="search_kwargs_faiss",
        name="Search Kwargs",
        description="The search kwargs to use",
    )
)

ensemble_retriever = EnsembleRetriever(
    retrievers=[bm25_retriever, faiss_retriever], weights=[0.5, 0.5]
)

config = {"configurable": {"search_kwargs_faiss": {"k": 1}}}
docs = ensemble_retriever.invoke("apples", config=config)
print(docs)