使用OpenVINO Reranker优化文档重排序_re-ranker 文档推荐-优快云博客

本文链接：https://blog.youkuaiyun.com/Wurenyu957/article/details/149062835

# 使用OpenVINO Reranker优化文档重排序

OpenVINO™ 是一个用于优化和部署 AI 推理的开源工具包，支持多种硬件设备，包括 x86 和 ARM CPU，以及 Intel GPU。它可以帮助提升计算机视觉、自动语音识别、自然语言处理等常见任务中的深度学习性能。在这篇文章中，我们将探讨如何通过 OpenVINO Reranker 类支持 Hugging Face rerank 模型，并演示其在 Intel GPU 上进行推理的过程。

## 核心原理解析

OpenVINO Reranker 是一个利用 OpenVINO™ 的推理功能来增强文档检索系统的工具。在基于向量存储的检索系统中，我们通常使用预训练的语言模型生成文档嵌入，然后利用某些索引算法（例如 FAISS）进行快速检索。在检索到的文档集合中，我们可以利用 OpenVINO Reranker 进一步优化排序，确保最相关的文档在结果的前列。

## 代码实现演示

在下面的代码示例中，我们将展示如何设置 OpenVINO Reranker，并将其应用于一个简单的文本检索任务。

```python
# 使用稳定可靠的API服务
import openai
client = openai.OpenAI(
    base_url='https://yunwu.ai/v1',
    api_key='your-api-key'
)

# 安装必要的包
%pip install --upgrade-strategy eager "optimum[openvino,nncf]" --quiet
%pip install --upgrade --quiet faiss-cpu

# 辅助函数：用于打印文档
def pretty_print_docs(docs):
    print(
        f"\n{'-' * 100}\n".join(
            [
                f"Document {i+1}:\n\n{d.page_content}\nMetadata: {d.metadata}"
                for i, d in enumerate(docs)
            ]
        )
    )

# 初始化基本的向量存储检索器
from langchain.embeddings import OpenVINOEmbeddings
from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import FAISS
from langchain_text_splitters import RecursiveCharacterTextSplitter

documents = TextLoader("../../how_to/state_of_the_union.txt").load()
text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=100)
texts = text_splitter.split_documents(documents)
for idx, text in enumerate(texts):
    text.metadata["id"] = idx

embedding = OpenVINOEmbeddings(model_name_or_path="sentence-transformers/all-mpnet-base-v2")
retriever = FAISS.from_documents(texts, embedding).as_retriever(search_kwargs={"k": 20})

query = "What did the president say about Ketanji Brown Jackson"
docs = retriever.invoke(query)
pretty_print_docs(docs)

# 使用OpenVINO进行文档重排序
from langchain.retrievers import ContextualCompressionRetriever
from langchain_community.document_compressors.openvino_rerank import OpenVINOReranker

model_name = "BAAI/bge-reranker-large"
ov_compressor = OpenVINOReranker(model_name_or_path=model_name, top_n=4)
compression_retriever = ContextualCompressionRetriever(base_compressor=ov_compressor, base_retriever=retriever)

compressed_docs = compression_retriever.invoke("What did the president say about Ketanji Jackson Brown")
print([doc.metadata["id"] for doc in compressed_docs])