[OpenAI-Agent-SDK] 离线接入本地vllm部署的QWQ-32B

原创

已于 2025-03-24 09:27:26 修改 · 612 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #OpenAI #Agent #QwQ

于 2025-03-23 09:49:23 首次发布

最近刚开始openai-agents-sdk的使用，发现在流程设计，agent 配置以及调用方面确实做到了极为精简，格式化输入与输出也非常方便控制，虽然OpenAI-agents-sdk原生支持openai自家提供的模型，不过在这“群模林立”的形势下，OpenAI-agents-sdk也良心地支持外部模型的接入和使用。

官方文档： https://openai.github.io/openai-agents-python/

比如接入本地部署的QwQ-32B，需要导入 AsyncOpenAI,OpenAIChatCompletionsModel, 与使用OpenAI 客户端类似，配置本地部署的QwQ-32B模型如下：

external_client = AsyncOpenAI(api_key='empty',base_url='http://192.168.xxx.xxx:pppp/v1/')

external_model = OpenAIChatCompletionsModel(model='QwQ-32B-AWQ', openai_client=external_client)

需要说明的是，

1）vllm部署模型信息可通过http://192.168.xxx.xxx:pppp/v1/models 来查询；其中返回的模型id为 'QwQ-32B-AWQ'，即是OpenAIChatCompletionsModel中model传入的名称。

2）使用本地模型，则需要将tracing 关掉，即： set_tracing_disabled(disabled=True)

3）使用 `function_tool` 装饰器来自定义工具。

一个天气查询助手的完整代码如下，