使用LangChain和Llama-Index实现多重检索RAG

最新推荐文章于 2025-10-20 10:43:06 发布

原创

最新推荐文章于 2025-10-20 10:43:06 发布 · 3.2k 阅读

13 ·

CC 4.0 BY-SA版权

文章标签：

#langchain #llama #microsoft

本文介绍了查询扩展技术中的多查询检索策略，如何通过在原始查询基础上生成相关查询来提升搜索效率和准确性。特别关注了LangChain和Llama-Index中的实现方法，以及OpenAI模型在生成查询和子问题处理中的应用。

大家好，在信息检索的世界里，查询扩展技术正引领着一场效率革命。本文将介绍这一技术的核心多查询检索，以及其是如何在LangChain和Llama-Index中得到应用的。

1.查询扩展

查询扩展是一种信息检索技术，通过在原始查询的基础上增加相关或同义的词汇和短语来优化搜索结果。这种方法能够丰富查询的语义，提高检索系统的准确性和相关性。

在查询扩展的众多策略中，多查询检索是其中的一种。它通过生成多个相关的查询请求，从而拓宽搜索范围，帮助用户更全面地获取所需信息。这种技术尤其适用于处理复杂的查询需求，能够有效提高信息检索的效率和质量。

2.机制

系统在接到查询请求后，会先通过高级语言模型生成一个与原查询相近的新查询。这个新查询随后用于在Llama-Index中检索相关文档，从而获取与原查询高度相关的信息，增强上下文理解，确保结果更精准、更符合用户的实际需求。

2次LLM交互：为精确生成查询，流程包括向大型语言模型（LLM）并行发出两次请求：初次使用gpt3模型，之后可能提升至gpt4或其他高级模型，以获取更丰富的查询结果。

3.实现方法

3.1 LangChain

loader = UnstructuredPDFLoader(FILE_NAME)
docs = loader.load()

text_splitter = SentenceTransformersTokenTextSplitter()
texts = text_splitter.split_documents(docs)

emb = OpenAIEmbeddings(openai_api_key=openai.api_key)
vec_db = Chroma.from_documents(documents=texts, embedding=emb)

lc_model = ChatOpenAI(openai_api_key=openai.api_key, temperature=1.5)
base_retriever = vec_db.as_retriever(k=K)
final_retriever = MultiQueryRetriever.from_llm(base_retriever, lc_model)

tmpl = """
You are an assistant to answer a question from user with a context.

Context:
{context}

Question:
{question}

The response