Agency Swarm项目开源模型集成指南

Agency Swarm项目开源模型集成指南

agency-swarm An opensource agent orchestration framework built on top of the latest OpenAI Assistants API. 项目地址: https://gitcode.com/gh_mirrors/ag/agency-swarm

引言

在人工智能领域，开源模型正变得越来越重要。Agency Swarm作为一个多智能体协作框架，虽然官方推荐使用OpenAI的模型，但也提供了与多种开源模型集成的能力。本文将详细介绍如何在Agency Swarm项目中集成和使用开源模型，帮助开发者根据自身需求选择合适的解决方案。

支持的开源模型项目

Agency Swarm目前支持与多个开源模型API的集成，这些API都实现了与OpenAI Assistants API兼容的接口：

1. Astra Assistants API - 目前最稳定且功能最完整的开源方案，支持Assistants API V2版本，提供了最佳的使用体验。

2. Open Assistant API - 完全本地化的解决方案，稳定性较好，但仅支持Assistants API V1版本。

3. OpenOpenAI - 一个实验性的开源实现，尚未经过充分验证。

4. LiteLLM - 正在开发中的Assistants API代理方案。

Astra Assistants API详细集成指南

准备工作

1. 获取API密钥：首先需要在Astra Assistants API平台注册账号并获取API令牌。

2. 配置环境变量：将获取的令牌添加到项目的.env文件中：

   ASTRA_DB_APPLICATION_TOKEN=AstraCS:your_token_here
   

3. 添加其他模型API密钥：根据需要使用不同的模型提供商：

   PERPLEXITYAI_API_KEY=your_key
   ANTHROPIC_API_KEY=your_key
   TOGETHER_API_KEY=your_key
   GROQ_API_KEY=your_key
   

安装依赖

安装必要的Python包：

pip install astra-assistants-api gradio

配置OpenAI客户端

在Python代码中配置自定义的OpenAI客户端：

from openai import OpenAI
from astra_assistants import patch
from agency_swarm import set_openai_client
from dotenv import load_dotenv

load_dotenv()

client = patch(OpenAI())
set_openai_client(client)

创建智能体

创建智能体时，可以指定不同的开源模型：

from agency_swarm import Agent

ceo = Agent(
    name="ceo",
    description="CEO角色描述",
    model='ollama/llama3',  # 可替换为其他模型
    # model = 'perplexity/llama-3-8b-instruct'
    # model = 'anthropic/claude-3-5-sonnet-20240620'
    # model = 'groq/mixtral-8x7b-32768'
    files_folder="文件路径"
)

创建智能体机构并运行

from agency_swarm import Agency

agency = Agency([ceo])
agency.demo_gradio()  # 启动Gradio界面

通用集成方法

对于其他兼容Assistants API的开源项目，通常遵循以下步骤：

1. 安装兼容版本：大多数项目尚未支持最新版本的Agency Swarm：

   pip install agency-swarm==0.1.7
   

2. 配置自定义客户端：

   import openai
   from agency_swarm import set_openai_client
   
   client = openai.OpenAI(
       api_key="your-api-key",
       base_url="http://127.0.0.1:8000/"  # 本地API地址
   )
   set_openai_client(client)
   

3. 创建智能体：

   ceo = Agent(
       name="ceo",
       description="CEO描述",
       model='ollama/llama3'
   )
   

4. 获取智能体响应：

   response = agency.get_completion("输入消息")
   

技术限制与注意事项

使用开源模型时需要注意以下限制：

1. 函数调用支持有限：大多数开源模型不支持函数调用功能，这会影响智能体间的通信能力。这类智能体通常只能作为机构中的终端节点。

2. 检索增强生成(RAG)限制：开源实现通常对RAG功能支持有限，建议开发者自行实现基于向量数据库的定制工具。

3. 代码解释器不可用：目前所有开源实现均不支持代码解释器功能。

4. 性能考量：开源模型的推理速度和响应时间可能不如商业API稳定，需要根据实际应用场景进行测试。

未来发展方向

随着开源生态的不断发展，Agency Swarm将持续跟进以下方向：

1. 支持更多开源模型API的稳定版本
2. 增强对函数调用的支持
3. 改进RAG功能的集成方式
4. 探索代码解释器在开源模型上的实现

结语

通过Agency Swarm集成开源模型为开发者提供了更大的灵活性和可控性。虽然目前还存在一些功能限制，但随着开源生态的成熟，这些限制将逐步被突破。开发者可以根据项目需求，在商业API和开源方案之间做出合理选择，构建符合自身需求的智能体系统。

建议开发者在实际应用中充分测试不同模型的性能表现，并根据测试结果优化智能体的架构设计。对于关键业务场景，可以考虑采用混合架构，结合商业API的稳定性和开源模型的灵活性。

agency-swarm An opensource agent orchestration framework built on top of the latest OpenAI Assistants API. 项目地址: https://gitcode.com/gh_mirrors/ag/agency-swarm