如何实现可运行对象的流式处理

技术背景介绍

在基于大语言模型（LLM）的应用程序中，流式处理对于提升用户体验非常重要。LangChain中的重要原语，如聊天模型、输出解析器、提示、检索器和代理都实现了LangChainRunnable接口。通过这个接口，我们可以实现同步和异步的流式内容传输。

核心原理解析

LangChain提供了两种流式处理内容的实现方式：

• syncstream和asyncastream：流式传输从链中获取的最终输出。
• asyncastream_events和asyncastream_log：可以传输链中的中间步骤和最终输出。

这些方法旨在按块流式传输最终输出，一旦某个块可用，它便会被传输。

代码实现演示

下面，我们将演示如何在Python中使用LangChain的流式处理功能。我们将以OpenAI的模型为例，说明如何实现同步和异步的流式处理。

首先，安装必要的库：

pip install -qU langchain-openai

然后，配置API密钥：

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass()

同步流式处理

from langchain_openai import ChatOpenAI

model = ChatOpenAI(model="gpt-4o-mini")

chunks = []
for chunk in model.stream("what color is the sky?"):
    chunks.append(chunk)
    print(chunk.content, end="|", flush=True)

输出：

The| sky| appears| blue| during| the| day|.

异步流式处理

chunks = []
async for chunk in model.astream("what color is the sky?"):
    chunks.append(chunk)
    print(chunk.content, end="|", flush=True)

输出：

The| sky| appears| blue| during| the| day|.

处理JSON流

from langchain_core.output_parsers import JsonOutputParser

chain = model | JsonOutputParser()

async for text in chain.astream(
    "output a list of the countries france, spain and japan and their populations in JSON format. "
    'Use a dict with an outer key of "countries" which contains a list of countries. '
    "Each country should have the key `name` and `population`"
):
    print(text, flush=True)

输出：

{'countries': [{'name': 'France', 'population': 67413000}, {'name': 'Spain', 'population': 47351567}, {'name': 'Japan', 'population': 125584000}]}

应用场景分析

流式处理在以下场景中极为重要：

• 实时聊天应用：用户可以立即看到对话的进展。
• 数据流分析：在数据未完全生成之前即可开始处理。
• 大规模数据运算：节省时间和资源。

实践建议

• 尽量使用支持流式处理的组件，与LCEL结合可以自动化许多流处理步骤。
• 当组件不支持流式处理时，注意可能的中断。
• 使用合适的流式处理方法（sync/async）以优化应用性能。

如果遇到问题欢迎在评论区交流。
—END—