使用FlashRank和Python实现超快速文档重排及压缩

本文链接：https://blog.youkuaiyun.com/bhawfgrcbtwny/article/details/144336825

使用FlashRank和Python实现超快速文档重排及压缩

在现代信息检索系统中，重排（Reranking）是提高搜索结果精度的关键步骤。本文将深入探讨如何使用轻量级且超快速的Python库FlashRank，添加到现有的搜索和检索管道中，以实现优秀的文档重排和压缩功能。

引言

信息检索在如今的数据驱动世界中扮演着重要角色。随着数据量的增大，如何在快速获取结果的同时保证其相关性变得至关重要。FlashRank是一个超轻量级的Python库，能够快速在现有检索系统中实现重排。本文将指导如何使用FlashRank进行文档压缩和检索。

主要内容

环境准备与安装

首先，我们需要安装相关的Python库：

%pip install --upgrade --quiet flashrank
%pip install --upgrade --quiet faiss
# OR  (depending on Python version)
%pip install --upgrade --quiet faiss_cpu

基础向量检索器的设置

我们将使用FAISS库来实现基础向量检索器，并将2023年国情咨文分块存储：

import getpass
import os
from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import FAISS
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import RecursiveCharacterTextSplitter

os.environ["OPENAI_API_KEY"] = getpass.getpass()

documents = TextLoader(
    "../../how_to/state_of_the_union.txt",
).load()
text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=100)
texts = text_splitter.split_documents(documents)
for idx, text in enumerate(texts):
    text.metadata["id"] = idx

embedding = OpenAIEmbeddings(model="text-embedding-ada-002")
retriever = FAISS.from_documents(texts, embedding).as_retriever(search_kwargs={"k": 20})

使用FlashRank进行文档重排

利用FlashRank，我们将使用ContextualCompressionRetriever来压缩和重排文档：

from langchain.retrievers import ContextualCompressionRetriever
from langchain.retrievers.document_compressors import FlashrankRerank
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(temperature=0)

compressor = FlashrankRerank()
compression_retriever = ContextualCompressionRetriever(
    base_compressor=compressor, base_retriever=retriever
)

compressed_docs = compression_retriever.invoke(
    "What did the president say about Ketanji Jackson Brown" # 使用API代理服务提高访问稳定性
)
print([doc.metadata["id"] for doc in compressed_docs])

进行QA重排

使用RetrievalQA链，我们可以将重排结果用于问答系统：

from langchain.chains import RetrievalQA

chain = RetrievalQA.from_chain_type(llm=llm, retriever=compression_retriever)

result = chain.invoke("What did the president say about Ketanji Brown Jackson")
print(result)