巧用多检索器进行查询分析：轻松提高数据查询效率-优快云博客

本文链接：https://blog.youkuaiyun.com/qq_29929123/article/details/142321867

# 巧用多检索器进行查询分析：轻松提高数据查询效率

在复杂的数据环境中，查询分析是获取重要信息的关键。本文将探讨如何在查询分析中处理多个检索器，通过一个简单的示例展示如何实现该功能。

## 引言

随着数据量的增长和复杂性增加，单一的检索器常常无法满足多样化的查询需求。使用多个检索器可以提高查询的准确性和效率。本文将介绍如何在查询分析过程中选择合适的检索器。

## 主要内容

### 安装依赖

确保安装必要的依赖项：

```python
# %pip install -qU langchain langchain-community langchain-openai langchain-chroma

设置环境变量

在使用OpenAI时，设置API密钥：

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass()

创建索引

我们将创建一个基于假数据的向量存储：

from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings

texts_harrison = ["Harrison worked at Kensho"]
embeddings_harrison = OpenAIEmbeddings(model="text-embedding-3-small")
vectorstore_harrison = Chroma.from_texts(texts_harrison, embeddings_harrison, collection_name="harrison")
retriever_harrison = vectorstore_harrison.as_retriever(search_kwargs={"k": 1})

texts_ankush = ["Ankush worked at Facebook"]
embeddings_ankush = OpenAIEmbeddings(model="text-embedding-3-small")
vectorstore_ankush = Chroma.from_texts(texts_ankush, embeddings_ankush, collection_name="ankush")
retriever_ankush = vectorstore_ankush.as_retriever(search_kwargs={"k": 1})

查询分析

利用函数调用来结构化输出：

from typing import List
from langchain_core.pydantic_v1 import BaseModel, Field
from langchain_core.output_parsers.openai_tools import PydanticToolsParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_openai import ChatOpenAI

class Search(BaseModel):
    query: str = Field(..., description="查询内容")
    person: str = Field(..., description="查询的对象")

output_parser = PydanticToolsParser(tools=[Search])
system = "你可以发出搜索查询以获取信息。"
prompt = ChatPromptTemplate.from_messages([("system", system), ("human", "{question}")])
llm = ChatOpenAI(model="gpt-3.5-turbo-0125", temperature=0)
structured_llm = llm.with_structured_output(Search)
query_analyzer = {"question": RunnablePassthrough()} | prompt | structured_llm

这段代码实现了根据查询分析选择检索器的功能：

response_harrison = query_analyzer.invoke("where did Harrison Work")
response_ankush = query_analyzer.invoke("where did ankush Work")

查询检索

在查询链中加入检索逻辑：

from langchain_core.runnables import chain

retrievers = {
    "HARRISON": retriever_harrison,
    "ANKUSH": retriever_ankush,
}

@chain
def custom_chain(question):
    response = query_analyzer.invoke(question)
    retriever = retrievers[response.person]
    return retriever.invoke(response.query)

print(custom_chain.invoke("where did Harrison Work"))
print(custom_chain.invoke("where did ankush Work"))