如何在RAG应用程序中流式传输结果_rag chain.astream-优快云博客

如何在RAG应用程序中流式传输结果

在快速发展的AI领域，流式传输结果可以显著提升用户体验和应用程序的响应速度。本文将深入探讨如何在RAG（Retrieval Augmented Generation）应用程序中流式传输结果，涵盖从最终输出流式传输到链中间步骤（例如查询重写）的过程。本文的目标是提供实用的知识和代码示例，帮助开发者更好地理解和实现流式传输。

主要内容

设置和依赖

我们将使用OpenAI的嵌入技术和Chroma向量存储库进行演示，尽管本文中的方法同样适用于其他的嵌入、向量存储库或检索器。使用以下命令安装所需的Python包：

%pip install --upgrade --quiet langchain langchain-community langchainhub langchain-openai langchain-chroma bs4

此外，我们需要设置OPENAI_API_KEY环境变量。可以直接设置，或者从.env文件中加载：

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass()  # 使用API代理服务提高访问稳定性

LangSmith工具

在应用程序变得更复杂时，使用LangSmith可以帮助你详细了解链或代理的内部运作。尽管使用LangSmith不是必需的，但它能提供很大的帮助。注册后，确保设置环境变量以开始记录追踪：

os.environ["LANGCHAIN_TRACING_V2"] = "true"
os.environ["LANGCHAIN_API_KEY"] = getpass.getpass()

构建RAG链

选择合适的LLM（大语言模型）是构建RAG链的第一步。可以选择的模型包括OpenAI、Anthropic、Azure等。以下是使用OpenAI模型的基本步骤：

pip install -qU langchain-openai

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass()  # 使用API代理服务提高访问稳定性

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model="gpt-4o-mini")

构建Q&A应用程序

使用已构建的博客文章内容，我们可以创建一个问答应用程序：

import bs4
from langchain.chains import create_retrieval_chain
from langchain.chains.combine_documents import create_stuff_documents_chain
from langchain_chroma import Chroma
from langchain_community.document_loaders import WebBaseLoader
from langchain_core.prompts import ChatPromptTemplate
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import RecursiveCharacterTextSplitter

# 加载和索引博客内容以创建检索器
loader = WebBaseLoader(
    web_paths=("https://lilianweng.github.io/posts/2023-06-23-agent/",),
    bs_kwargs=dict(parse_only=bs4.SoupStrainer(class_=("post-content", "post-title", "post-header")))
)
docs = loader.load()

text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
splits = text_splitter.split_documents(docs)
vectorstore = Chroma.from_documents(documents=splits, embedding=OpenAIEmbeddings())
retriever = vectorstore.as_retriever()

# 创建问答链
system_prompt = (
    "You are an assistant for question-answering tasks. "
    "Use the following pieces of retrieved context to answer "
    "the question. If you don't know the answer, say that you "
    "don't know. Use three sentences maximum and keep the "
    "answer concise.\n\n{context}"
)

prompt = ChatPromptTemplate.from_messages(
    [
        ("system", system_prompt),
        ("human", "{input}"),
    ]
)

question_answer_chain = create_stuff_documents_chain(llm, prompt)
rag_chain = create_retrieval_chain(retriever, question_answer_chain)

流式传输最终输出

在rag_chain中，stream方法默认以顺序流式传输每个键，其中“answer”键是按令牌进行流式传输的：

for chunk in rag_chain.stream({"input": "What is Task Decomposition?"}):
    print(chunk)

代码示例

下面的代码示例展示了如何仅流式传输“answer”键的结果：

for chunk in rag_chain.stream({"input": "What is Task Decomposition?"}):
    if answer_chunk := chunk.get("answer"):
        print(f"{answer_chunk}|", end="")

流式传输中间步骤

通过使用异步astream_events方法，还可以流式传输链中的中间步骤。在下面的示例中，我们演示了如何通过历史记录感知的检索器传递上下文化问题：

from langchain.chains import create_history_aware_retriever
from langchain_core.prompts import MessagesPlaceholder

# 上下文化问题
contextualize_q_system_prompt = (
    "Given a chat history and the latest user question "
    "which might reference context in the chat history, "
    "formulate a standalone question which can be understood "
    "without the chat history. Do NOT answer the question, "
    "just reformulate it if needed and otherwise return it as is."
)
contextualize_q_prompt = ChatPromptTemplate.from_messages(
    [
        ("system", contextualize_q_system_prompt),
        MessagesPlaceholder("chat_history"),
        ("human", "{input}"),
    ]
)

history_aware_retriever = create_history_aware_retriever(
    contextualize_q_llm, retriever, contextualize_q_prompt
)

# 处理流式传输的事件
async for event in rag_chain.astream_events(
    {"input": "What are some common ways of doing it?", "chat_history": chat_history},
    version="v1",
):
    if event["event"] == "on_chat_model_stream" and "contextualize_q_llm" in event["tags"]:
        ai_message_chunk = event["data"]["chunk"]
        print(f"{ai_message_chunk.content}|", end="")

常见问题和解决方案

网络限制

在某些地区，访问API可能会受限。开发者可以考虑使用API代理服务来提高访问的稳定性。

流式传输中间步骤的复杂性

流式传输中间步骤可能会变得复杂，特别是在处理具有多个步骤的链时。建议对每个步骤设置适当的标签，以便更好地过滤和管理流式数据。

总结与进一步学习资源

本文介绍了如何在RAG应用程序中流式传输结果。通过流式传输结果，可以大大提升应用程序的响应速度和用户体验。希望本文提供的代码示例和见解能帮助您更好地构建RAG应用程序。以下是一些进一步学习的资源：

参考资料

LangChain Documentation: https://python.langchain.com/
OpenAI API Documentation: https://beta.openai.com/docs/
Lilian Weng’s LLM Powered Autonomous Agents Blog: https://lilianweng.github.io/posts/2023-06-23-agent/

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—