使用Jina Reranker进行文档压缩与检索

Jina Reranker文档压缩与检索应用

最新推荐文章于 2025-11-23 20:03:02 发布

原创最新推荐文章于 2025-11-23 20:03:02 发布 · 143 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#jina #python #开发语言

## 技术背景介绍

在人工智能应用中，文档检索与压缩是提高信息访问效率的重要环节。Jina Reranker是一种强大的工具，可以结合上下文信息对检索结果进行优化，使得搜索更精准和高效。在这篇文章中，我们将探讨如何利用Jina Reranker进行文档压缩与检索。

## 核心原理解析

Jina Reranker基于深度学习模型，对文档进行重新排序，根据上下文信息评估每个文档的相关性。这种方法能够提高信息检索的精度，使得用户获得更加准确的检索结果。同时，它适用于各种场景，如文本检索、问答系统等。

## 代码实现演示

下面是一个完整的代码示例，展示了如何使用Jina Reranker进行文档检索与压缩。我们将使用`langchain`库来构建检索系统，并结合`FAISS`作为向量存储。

```python
# 安装必要的库
%pip install -qU langchain langchain-openai langchain-community langchain-text-splitters langchainhub
%pip install --upgrade --quiet faiss_cpu

import openai
import getpass
import os

# 配置API服务
os.environ["OPENAI_API_KEY"] = getpass.getpass()
os.environ["JINA_API_KEY"] = getpass.getpass()

from langchain_community.document_loaders import TextLoader
from langchain_community.embeddings import JinaEmbeddings
from langchain_community.vectorstores import FAISS
from langchain_text_splitters import RecursiveCharacterTextSplitter

# 加载文档并进行分块
documents = TextLoader("../../how_to/state_of_the_union.txt").load()
text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=100)
texts = text_splitter.split_documents(documents)

# 使用Jina Embeddings进行向量化
embedding = JinaEmbeddings(model_name="jina-embeddings-v2-base-en")
retriever = FAISS.from_documents(texts, embedding).as_retriever(search_kwargs={"k": 20})

# 执行检索
query = "What did the president say about Ketanji Brown Jackson"
docs = retriever.get_relevant_documents(query)

def pretty_print_docs(docs):
    print("\n" + "\n".join([f"Document {i+1}:\n\n" + d.page_content for i, d in enumerate(docs)]))

pretty_print_docs(docs)

# 使用Jina Reranker进行重新排序
from langchain.retrievers import ContextualCompressionRetriever
from langchain_community.document_compressors import JinaRerank

compressor = JinaRerank()
compression_retriever = ContextualCompressionRetriever(
    base_compressor=compressor, base_retriever=retriever
)

compressed_docs = compression_retriever.get_relevant_documents(
    "What did the president say about Ketanji Jackson Brown"
)
pretty_print_docs(compressed_docs)

# 减少冗余内容，优化QA流程
from langchain_openai import ChatOpenAI
from langchain.chains import create_retrieval_chain
from langchain.chains.combine_documents import create_stuff_documents_chain
from langchain import hub

retrieval_qa_chat_prompt = hub.pull("langchain-ai/retrieval-qa-chat")
retrieval_qa_chat_prompt.pretty_print()

llm = ChatOpenAI(model="gpt-3.5-turbo-0125", temperature=0)
combine_docs_chain = create_stuff_documents_chain(llm, retrieval_qa_chat_prompt)
chain = create_retrieval_chain(compression_retriever, combine_docs_chain)

# 执行检索链
chain.invoke({"input": query})