提升LangChain查询分析器的性能：如何添加示例指导LLM-优快云博客

本文链接：https://blog.youkuaiyun.com/tt_jishu/article/details/142907791

引言

在复杂的查询分析中，语言模型（LLM）可能在某些场景下难以准确回应。为了提高性能，我们可以在提示中添加示例，以便更好地引导LLM。本文将介绍如何在LangChain YouTube视频查询分析器中添加示例。

主要内容

环境设置

首先安装必要的依赖：

# %pip install -qU langchain-core langchain-openai

设置环境变量：

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass()

查询模式定义

我们将定义一个查询模式，使查询分析更加有趣。新增一个包含从顶级问题派生出的狭义问题的sub_queries字段。

from typing import List, Optional
from langchain_core.pydantic_v1 import BaseModel, Field

sub_queries_description = """\
如果原始问题包含多个不同的子问题，\
或者回答原始问题需要回答更通用的问题，\
请列出所有相关的子问题。确保列表全面涵盖原始问题的各个部分。\
即使子问题中有冗余也是可以的。\
确保子问题尽可能集中。"""

class Search(BaseModel):
    query: str = Field(..., description="应用于视频转录的主要相似性搜索查询。")
    sub_queries: List[str] = Field(default_factory=list, description=sub_queries_description)
    publish_year: Optional[int] = Field(None, description="视频发布年份")

查询生成

from langchain_core.prompts import ChatPromptTemplate, MessagesPlaceholder
from langchain_core.runnables import RunnablePassthrough
from langchain_openai import ChatOpenAI

system = """您是一位专家，擅长将用户问题转化为数据库查询。\
您可以访问关于构建LLM应用程序的软件库的教程视频数据库。\
给定问题，返回优化的数据库查询列表以检索最相关的结果。"""

prompt = ChatPromptTemplate.from_messages(
    [
        ("system", system),
        MessagesPlaceholder("examples", optional=True),
        ("human", "{question}"),
    ]
)
llm = ChatOpenAI(model="gpt-3.5-turbo-0125", temperature=0)
structured_llm = llm.with_structured_output(Search)
query_analyzer = {"question": RunnablePassthrough()} | prompt | structured_llm

代码示例

尝试使用我们的查询分析器：

query_analyzer.invoke(
    "what's the difference between web voyager and reflection agents? do both use langgraph?"
)

结果：

Search(query='web voyager vs reflection agents', sub_queries=['difference between web voyager and reflection agents', 'do web voyager and reflection agents use langgraph'], publish_year=None)

添加示例和调整提示

为了更好地分解问题，可以在提示中增加输入问题和标准输出查询的示例。

examples = []

question = "What's chat langchain, is it a langchain template?"
query = Search(
    query="What is chat langchain and is it a langchain template?",
    sub_queries=["What is chat langchain", "What is a langchain template"],
)
examples.append({"input": question, "tool_calls": [query]})

# 继续添加其他示例...

# 更新提示模板以包含示例
from langchain_core.messages import (
    AIMessage,
    BaseMessage,
    HumanMessage,
    SystemMessage,
    ToolMessage,
)

def tool_example_to_messages(example: Dict) -> List[BaseMessage]:
    # 函数实现...

example_msgs = [msg for ex in examples for msg in tool_example_to_messages(ex)]

query_analyzer_with_examples = (
    {"question": RunnablePassthrough()}
    | prompt.partial(examples=example_msgs)
    | structured_llm
)

query_analyzer_with_examples.invoke(
    "what's the difference between web voyager and reflection agents? do both use langgraph?"
)