基于 Qwen-Agent 与 OpenVINO™ 构建本地 AI 智能体

点击蓝字

关注我们,让开发变得更有趣

作者 | 杨亦诚

排版 | 吴紫琴

Qwen2 是阿里巴巴集团 Qwen 团队研发的大语言模型和大型多模态模型系列。Qwen2 具备自然语言理解、文本生成、视觉理解、音频理解、工具使用、角色扮演、作为 AI Agent 进行互动等多种能力。

图：智能体中工具使用执行逻辑

Qwen-Agent 是一个 AI 智能体的开发框架。开发者可基于本框架开发 Agent 应用，充分利用基于通义千问模型（Qwen）的指令遵循、工具使用、规划、记忆能力。同时该框架也提供了浏览器助手、代码解释器、自定义助手等示例应用。近期 OpenVINO™ 工具套件也作为 Qwen-Agent 的大语言模型推理后端，被集成到 llm 组件中，接下来就让我们一起看下如何在 Intel 硬件平台上通过 OpenVINO™ 和 Qwen2 构建一个纯本地运行的 AI 智能体。

OpenVINO™

转化压缩 Qwen2 模型

第一步我们需要安装 Optimum-intel 组件，以此来导出并量化原始的 Qwen2 模型，使用方法可以参考以下示例。

pip install optimum[openvino]
optimum-cli export openvino --model Qwen/Qwen2-7B-Instruct--task text-generation-wit