使用VoyageAI Reranker优化信息检索-优快云博客

本文链接：https://blog.youkuaiyun.com/tt_jishu/article/details/148894435

在现代的AI应用中，信息检索和排序是关键任务，尤其是在处理大量文本数据时。Voyage AI提供了尖端的嵌入和矢量化模型，这篇文章将展示如何利用Voyage AI的rerank端点来优化信息检索器的结果排序。这基于ContextualCompressionRetriever的理念。

技术背景介绍

Voyage AI通过提供强大的嵌入模型以及rerank服务帮助开发者在大规模文本数据中快速定位相关信息。这项技术对于需要大量文档检索和分析的场景尤为重要，如法律文件处理、代码检索、金融数据分析等。

核心原理解析

Voyage AI的rerank端点可以在信息检索后，对检索到的结果进行重新排序，以辅助开发者在信息过载的情况下找到最相关的文档。通过将上下文感知的压缩检索器与Voyage AI的reranker结合，可以有效提高检索结果的质量。

代码实现演示(重点)

首先，我们需要安装相关的Python库：

%pip install --upgrade --quiet voyageai
%pip install --upgrade --quiet langchain-voyageai
%pip install --upgrade --quiet faiss  # Depending on Python version, you might need faiss-cpu as well

设置API Key以获得访问权限：

import getpass
import os

os.environ["VOYAGE_API_KEY"] = getpass.getpass("Voyage AI API Key:")

我们将使用简单的FAISS向量存储检索器来存储和检索文本块：

from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import FAISS
from langchain_text_splitters import RecursiveCharacterTextSplitter
from langchain_voyageai import VoyageAIEmbeddings

documents = TextLoader("../../how_to/state_of_the_union.txt").load()
text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=100)
texts = text_splitter.split_documents(documents)

# 使用Voyage AI的嵌入模型来初始化向量存储检索器
retriever = FAISS.from_documents(
    texts, VoyageAIEmbeddings(model="voyage-law-2")
).as_retriever(search_kwargs={"k": 20})

query = "What did the president say about Ketanji Brown Jackson"
docs = retriever.invoke(query)
pretty_print_docs(docs)

接下来，使用Voyage AI rerank端点进行结果重新排序：

from langchain.retrievers import ContextualCompressionRetriever
from langchain_openai import OpenAI
from langchain_voyageai import VoyageAIRerank

llm = OpenAI(temperature=0)
compressor = VoyageAIRerank(
    model="rerank-lite-1", voyageai_api_key=os.environ["VOYAGE_API_KEY"], top_k=3
)
compression_retriever = ContextualCompressionRetriever(
    base_compressor=compressor, base_retriever=retriever
)

compressed_docs = compression_retriever.invoke(
    "What did the president say about Ketanji Jackson Brown"
)
pretty_print_docs(compressed_docs)