深入理解Agency Swarm项目中的流式响应机制-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00098/article/details/148574863

深入理解Agency Swarm项目中的流式响应机制

agency-swarm An opensource agent orchestration framework built on top of the latest OpenAI Assistants API. 项目地址: https://gitcode.com/gh_mirrors/ag/agency-swarm

什么是流式响应

在Agency Swarm项目中，流式响应(Streaming)是一种让智能体(Agent)能够即时返回输出的技术实现。与传统的等待完整响应生成后再返回的方式不同，流式响应允许用户实时看到响应内容的生成过程，显著提升了用户体验。

流式响应的优势

即时反馈：用户无需等待整个响应完成，可以即时看到部分结果
交互体验：类似于人类对话的自然流式体验
效率提升：对于长响应内容，用户可以提前开始处理已接收部分

实现流式响应的核心方法

在Agency Swarm中，实现流式响应的核心是使用get_completion_stream方法配合自定义的事件处理器(EventHandler)。以下是实现的关键步骤：

1. 创建自定义事件处理器

需要继承AgencyEventHandler基类，并根据需求重写相应的方法：

from typing_extensions import override
from agency_swarm import AgencyEventHandler

class EventHandler(AgencyEventHandler):
    # 重写相关方法...

2. 关键事件处理方法

事件处理器提供了多个可重写的方法，用于处理不同类型的流式事件：

on_text_created：文本开始创建时触发
on_text_delta：文本增量更新时触发
on_tool_call_created：工具调用开始时触发
on_tool_call_delta：工具调用增量更新时触发
on_all_streams_end：所有流结束时触发（类方法）

3. 获取代理名称

AgencyEventHandler提供了两个额外属性，用于获取通信中的代理信息：

agent_name：当前处理消息的代理名称
recipient_agent_name：消息接收方的代理名称

实际应用示例

下面是一个完整的流式响应实现示例，展示了如何自定义事件处理器并获取流式响应：

class EventHandler(AgencyEventHandler):
    @override
    def on_text_created(self, text) -> None:
        # 显示发送消息的代理名称
        print(f"\n{self.recipient_agent_name} @ {self.agent_name} > ", end="", flush=True)

    @override
    def on_text_delta(self, delta, snapshot):
        # 实时打印文本增量
        print(delta.value, end="", flush=True)

    def on_tool_call_created(self, tool_call):
        # 处理工具调用开始事件
        print(f"\n{self.recipient_agent_name} > {tool_call.type}\n", flush=True)

    def on_tool_call_delta(self, delta, snapshot):
        # 处理代码解释器的增量输出
        if delta.type == 'code_interpreter':
            if delta.code_interpreter.input:
                print(delta.code_interpreter.input, end="", flush=True)
            if delta.code_interpreter.outputs:
                print(f"\n\noutput >", flush=True)
                for output in delta.code_interpreter.outputs:
                    if output.type == "logs":
                        print(f"\n{output.logs}", flush=True)

    @classmethod
    def on_all_streams_end(cls):
        # 所有流结束时的处理
        print("\n\nAll streams have ended.")

# 使用自定义事件处理器获取流式响应
response = agency.get_completion_stream(
    "I want you to build me a website", 
    event_handler=EventHandler
)

注意事项

流结束事件：on_all_streams_end是一个类方法，会在所有流结束时被调用。这一点特别重要，因为事件处理器可能会被多次调用，甚至可能被多个代理调用。
实时性处理：使用flush=True确保输出立即显示，而不是被缓冲。
增量更新：delta参数包含了相对于前一个状态的增量变化，而snapshot则提供了当前状态的完整快照。