使用Merger Retriever提高文档检索的准确性与多样性

Merger Retriever提升文档检索质效

最新推荐文章于 2025-11-24 20:48:20 发布

原创最新推荐文章于 2025-11-24 20:48:20 发布 · 285 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#oracle #数据库 #ios #python

技术背景介绍

在信息检索领域，如何提高文档的检索准确性和减少偏差一直是一个挑战。结合多个检索器（Retriever）的结果可以有效提高检索系统的表现。Merger Retriever（又称为Lord of the Retrievers, LOTR）是一种将多个检索器的结果合并为单一列表的工具，能够根据不同的检索器对文档进行排名和合并。这种方法有助于纠正由于单一检索方法带来的偏差，并确保最相关的文档优先返回。

核心原理解析

Merger Retriever通过接收一组检索器并调用它们的get_relevant_documents()方法，将结果合并到一个经过排序的单一文档列表中。通过在合并步骤中应用不同的压缩和排序策略，可以确保生成的文档列表既包含多样化的信息来源，又避免了冗余。

代码实现演示

以下是一个完整的实现示例，展示如何使用Merger Retriever结合不同的文档嵌入和压缩技术。

import os
import chromadb
from langchain.retrievers import (
    ContextualCompressionRetriever,
    DocumentCompressorPipeline,
    MergerRetriever,
)
from langchain_chroma import Chroma
from langchain_community.document_transformers import (
    EmbeddingsClusteringFilter,
    EmbeddingsRedundantFilter,
)
from langchain_huggingface import HuggingFaceEmbeddings
from langchain_openai import OpenAIEmbeddings

# 获取三种不同的文档嵌入
all_mini = HuggingFaceEmbeddings(model_name="all-MiniLM-L6-v2")
multi_qa_mini = HuggingFaceEmbeddings(model_name="multi-qa-MiniLM-L6-dot-v1")
filter_embeddings = OpenAIEmbeddings()

# 设置数据库路径
ABS_PATH = os.path.dirname(os.path.abspath(__file__))
DB_DIR = os.path.join(ABS_PATH, "db")

# 配置Chroma数据库并创建两个不同的索引
client_settings = chromadb.config.Settings(
    is_persistent=True,
    persist_directory=DB_DIR,
    anonymized_telemetry=False,
)
db_all = Chroma(
    collection_name="project_store_all",
    persist_directory=DB_DIR,
    client_settings=client_settings,
    embedding_function=all_mini,
)
db_multi_qa = Chroma(
    collection_name="project_store_multi",
    persist_directory=DB_DIR,
    client_settings=client_settings,
    embedding_function=multi_qa_mini,
)

# 定义两个不同的检索器
retriever_all = db_all.as_retriever(
    search_type="similarity", search_kwargs={"k": 5, "include_metadata": True}
)
retriever_multi_qa = db_multi_qa.as_retriever(
    search_type="mmr", search_kwargs={"k": 5, "include_metadata": True}
)

# 创建Merger Retriever
lotr = MergerRetriever(retrievers=[retriever_all, retriever_multi_qa])

# 使用EmbeddingsRedundantFilter减少冗余
filter = EmbeddingsRedundantFilter(embeddings=filter_embeddings)
pipeline = DocumentCompressorPipeline(transformers=[filter])
compression_retriever = ContextualCompressionRetriever(
    base_compressor=pipeline, base_retriever=lotr
)

# 使用EmbeddingsClusteringFilter进行文档聚类
filter_ordered_cluster = EmbeddingsClusteringFilter(
    embeddings=filter_embeddings,
    num_clusters=10,
    num_closest=1,
)

# 或者，按照原检索器分数排序最终文档
filter_ordered_by_retriever = EmbeddingsClusteringFilter(
    embeddings=filter_embeddings,
    num_clusters=10,
    num_closest=1,
    sorted=True,
)

pipeline = DocumentCompressorPipeline(transformers=[filter_ordered_by_retriever])
compression_retriever = ContextualCompressionRetriever(
    base_compressor=pipeline, base_retriever=lotr
)

# 重新排序文档以避免性能下降
from langchain_community.document_transformers import LongContextReorder

filter = EmbeddingsRedundantFilter(embeddings=filter_embeddings)
reordering = LongContextReorder()
pipeline = DocumentCompressorPipeline(transformers=[filter, reordering])
compression_retriever_reordered = ContextualCompressionRetriever(
    base_compressor=pipeline, base_retriever=lotr
)