混合搜索在LangChain中的实现与应用

最新推荐文章于 2025-12-20 09:26:15 发布

原创最新推荐文章于 2025-12-20 09:26:15 发布 · 471 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#langchain #python

技术背景介绍

在LangChain中，标准搜索通常依赖于向量相似性。然而，许多向量存储实现（如Astra DB、ElasticSearch、Neo4J、AzureSearch、Qdrant等）还支持更高级的搜索功能，这些功能结合了向量相似搜索和其他技术（如全文搜索、BM25等），通常称为“混合”搜索。

核心原理解析

混合搜索的核心在于它不仅可以利用向量相似度来查找信息，还可以结合其他搜索机制（如关键词匹配）来提高搜索的准确性和相关性。每个向量存储可能有自己独特的方式来实现混合搜索，通常在相似性搜索过程中通过传递特定的关键字参数实现。

代码实现演示

以下是混合搜索在LangChain中的一个具体实现示例，使用Astra DB的Cassandra/CQL接口。

首先，安装所需的Python包：

!pip install "cassio>=0.1.7"

接着，获取连接的密钥信息并初始化cassio：

import cassio

cassio.init(
    database_id="Your database ID",
    token="Your application token",
    keyspace="Your key space",
)

创建Cassandra VectorStore，并指定使用标准分词器以启用术语匹配:

from cassio.table.cql import STANDARD_ANALYZER
from langchain_community.vectorstores import Cassandra
from langchain_openai import OpenAIEmbeddings

# 初始化OpenAIEmbeddings
embeddings = OpenAIEmbeddings()

# 创建Cassandra向量存储，启用标准分析器
vectorstore = Cassandra(
    embedding=embeddings,
    table_name="test_hybrid",
    body_index_options=[STANDARD_ANALYZER],
    session=None,
    keyspace=None,
)

# 添加文本数据
vectorstore.add_texts(
    [
        "In 2023, I visited Paris",
        "In 2022, I visited New York",
        "In 2021, I visited New Orleans",
    ]
)

执行标准相似性搜索：

# 执行标准相似性搜索，获得所有文档
results = vectorstore.as_retriever().invoke("What city did I visit last?")
print(results)

利用body_search参数执行混合搜索：

# 使用body_search参数进行术语匹配过滤
filtered_results = vectorstore.as_retriever(search_kwargs={"body_search": "new"}).invoke(
    "What city did I visit last?"
)
print(filtered_results)

设定问答链及其可配置字段：

from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import ConfigurableField, RunnablePassthrough
from langchain_openai import ChatOpenAI

# 定义模板
template = """Answer the question based only on the following context:
{context}
Question: {question}
"""
prompt = ChatPromptTemplate.from_template(template)

# 创建模型实例
model = ChatOpenAI()

# 获取检索器并标记为可配置字段
retriever = vectorstore.as_retriever()
configurable_retriever = retriever.configurable_fields(
    search_kwargs=ConfigurableField(
        id="search_kwargs",
        name="Search Kwargs",
        description="The search kwargs to use",
    )
)

# 创建可配置的问答链
chain = (
    {"context": configurable_retriever, "question": RunnablePassthrough()}
    | prompt
    | model
    | StrOutputParser()
)

# 调用链进行问答
response = chain.invoke("What city did I visit last?")
print(response)

# 使用可配置选项调用链
configured_response = chain.invoke(
    "What city did I visit last?",
    config={"configurable": {"search_kwargs": {"body_search": "new"}}},
)
print(configured_response)