73 构建高效查询管道：QueryPipeline 的设置与使用指南

最新推荐文章于 2025-12-04 16:02:12 发布

原创

最新推荐文章于 2025-12-04 16:02:12 发布 · 632 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#算法 #LLM #RAG #自然语言处理 #llamaindex

构建高效查询管道：QueryPipeline 的设置与使用指南

在现代数据处理和分析中，构建高效的查询管道（Query Pipeline）是提升工作效率的关键。本文将深入探讨如何使用 QueryPipeline 来设置和运行各种复杂的查询流程，无论是简单的线性链还是复杂的DAG（有向无环图）结构。

设置查询管道

定义顺序链

对于一些简单的线性查询流程，QueryPipeline 提供了简化的链式语法。例如：

提示 -> LLM（大型语言模型） -> 输出解析
提示 -> LLM -> 提示 -> LLM
检索器 -> 响应合成器

以下是一个简单的示例代码：

from llama_index.core.query_pipeline import QueryPipeline

# 尝试链式基本提示
prompt_str = "请生成与 {movie_name} 相关的电影"
prompt_tmpl = PromptTemplate(prompt_str)
llm = OpenAI(model="gpt-3.5-turbo")

p = QueryPipeline(chain=[prompt_tmpl, llm], verbose=True)

定义DAG

对于更复杂的查询流程，可能需要设置一个DAG。QueryPipeline 提供了低级API来添加模块及其键，并定义模块之间的链接。

from llama_index.postprocessor.cohere_rerank import CohereRerank
from llama_index.core.response_synthesizers import TreeSummarize

# 定义模块
prompt_str = "请生成一个关于 Paul Graham 生活的问题，主题是 {topic}"
prompt_tmpl = PromptTemplate(prompt_str)
llm = OpenAI(model="gp