使用VoyageAI进行文本检索结果重排序的实践

最新推荐文章于 2025-11-23 20:03:02 发布

原创最新推荐文章于 2025-11-23 20:03:02 发布 · 159 阅读

CC 4.0 BY-SA版权

文章标签：

在文本检索系统中，重排序（Rerank）是提高检索结果质量的重要技术。本文将通过一个完整的示例，展示如何使用Voyage AI的重排序功能来优化检索器的结果。这一过程将基于ContextualCompressionRetriever的概念展开。

技术背景介绍

在信息检索中，最初获取的文档可能数量过多且质量参差不齐。通过重排序，可以根据相关性对这些文档进行排序，提升最相关结果的优先级。VoyageAI提供了先进的嵌入式/向量化模型以及专门的重排序端点，可用于提升检索效果。

核心原理解析

重排序基于对检索结果的重新评估，将最相关的内容进行优先排序。通过将VoyageAI的重排序模型集成到现有的检索器中，可以获得更高质量的检索结果。

代码实现演示(重点)

首先，我们需要安装必要的库并配置API密钥。确保安装Voyage AI相关的Python包。

%pip install --upgrade --quiet voyageai
%pip install --upgrade --quiet langchain-voyageai
%pip install --upgrade --quiet faiss

接下来，设置API密钥：

import getpass
import os

os.environ["VOYAGE_API_KEY"] = getpass.getpass("Voyage AI API Key:")

然后，初始化一个简单的向量存储检索器，并处理文本数据：

from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import FAISS
from langchain_text_splitters import RecursiveCharacterTextSplitter
from langchain_voyageai import VoyageAIEmbeddings

documents = TextLoader("../../how_to/state_of_the_union.txt").load()
text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=100)
texts = text_splitter.split_documents(documents)

# 使用Voyage AI的向量模型
retriever = FAISS.from_documents(
    texts, VoyageAIEmbeddings(model="voyage-law-2")
).as_retriever(search_kwargs={"k": 20})

进行初次检索并打印结果：

query = "What did the president say about Ketanji Brown Jackson"
docs = retriever.invoke(query)

def pretty_print_docs(docs):
    print(
        f"\n{'-' * 100}\n".join(
            [f"Document {i+1}:\n\n" + d.page_content for i, d in enumerate(docs)]
        )
    )

pretty_print_docs(docs)

最后，使用VoyageAI重排序模型优化检索结果：

from langchain.retrievers import ContextualCompressionRetriever
from langchain_openai import OpenAI
from langchain_voyageai import VoyageAIRerank

llm = OpenAI(temperature=0)
compressor = VoyageAIRerank(
    model="rerank-lite-1", voyageai_api_key=os.environ["VOYAGE_API_KEY"], top_k=3
)
compression_retriever = ContextualCompressionRetriever(
    base_compressor=compressor, base_retriever=retriever
)

compressed_docs = compression_retriever.invoke("What did the president say about Ketanji Jackson Brown")
pretty_print_docs(compressed_docs)