在你的应用中流畅地实现聊天模型响应流式输出

最新推荐文章于 2025-06-20 19:55:27 发布

kwsyger

最新推荐文章于 2025-06-20 19:55:27 发布

阅读量499

点赞数 10

CC 4.0 BY-SA版权

文章标签： microsoft 服务器 windows python

本文链接：https://blog.youkuaiyun.com/kwsyger/article/details/144434237

# 在你的应用中流畅地实现聊天模型响应流式输出

## 引言
在现代应用中，流式输出(chat model streaming)可以显著提高用户体验，尤其在与AI聊天模型交互时。本文将详细介绍如何在你的应用中实现流式输出，特别是关注如何利用支持 `Runnable` 接口的聊天模型进行同步和异步流式处理。

## 主要内容

### 聊天模型的流式输出
许多聊天模型实现了 `Runnable` 接口，支持标准的可运行方法，包括 `stream` 和 `astream`。默认情况下，这些实现提供了一个 `Iterator` 或 `AsyncIterator`，用于产出聊天模型的最终输出。然而，需要注意的是，默认实现不支持逐字输出。这意味着，如果你希望逐字流式传输输出，你需要确保聊天模型提供商已经实现了这样的功能。

### 同步流式输出
在同步上下文中，我们可以使用 `stream` 方法来获取聊天模型的输出。下面的示例展示了如何使用 `ChatAnthropic` 模型进行流式输出。按顺序打印每个从模型返回的“块”，以`|`作为分隔符。

```python
from langchain_anthropic.chat_models import ChatAnthropic

chat = ChatAnthropic(model="claude-3-haiku-20240307")
for chunk in chat.stream("Write me a 1 verse song about goldfish on the moon"):
    print(chunk.content, end="|", flush=True)
# 使用API代理服务提高访问稳定性

异步流式输出

对于需要异步操作的应用，你可以使用 astream 方法。以下示例展示了如何实现异步流式输出。

from langchain_anthropic.chat_models import ChatAnthropic

chat = ChatAnthropic(model="claude-3-haiku-20240307")
async for chunk in chat.astream("Write me a 1 verse song about goldfish on the moon"):
    print(chunk.content, end="|", flush=True)
# 使用API代理服务提高访问稳定性

事件流式输出

事件流是另一种用于管理复杂应用的强大工具，尤其是在需要处理多个步骤的场景中。下面的示例阐释了如何截取前几个事件以展示流式处理能力。

from langchain_anthropic.chat_models import ChatAnthropic

chat = ChatAnthropic(model="claude-3-haiku-20240307")
idx = 0

async for event in chat.astream_events(
    "Write me a 1 verse song about goldfish on the moon", version="v1"
):
    idx += 1
    if idx >= 5:  # Truncate the output
        print("...Truncated")
        break
    print(event)
# 使用API代理服务提高访问稳定性