基于BM1684X算力盒子丨Qwen3-langchain-AI Agent

关注

原创最新推荐文章于 2026-11-08 12:08:08 发布 646 阅读 AI 写同款· GEO 优化 ›

BM1684X边缘部署Qwen3智能体：量化模型+MCP协议+SQLite全栈实践边缘AI推理是指在靠近数据源头的终端设备上执行模型计算，其核心在于低延迟、低功耗与数据本地化。技术原理依赖硬件加速（如专用NPU）、模型轻量化（INT4量化、KV Cache优化）及高效系统集成（自定义通信协议、嵌入式数据库）。该方案的技术价值在于突破云端依赖，实现200ms级端到端响应、15W超低功耗与完全离线运行能力。典型应用场景包括工业现场RAG问答、私有化Agent工具调用、嵌入式设备自主决策等。本文聚焦寒武纪BM1684X平台，详解Qwen3-4B-int4模型部署、MCP协议实现与SQLite深阅读详情

一、简介

LangChain 是一个专为开发大型语言模型（LLM）应用设计的框架，支持集成外部工具、数据资源并管理交互逻辑，助力构建智能对话、文档分析等复杂 AI 应用。该项目的主要目标是通过使用自然语言来简化与文档的交互，并提取有价值的信息。此项目使用LangChain、Qwen3-7b构建，以向用户提供流畅自然的对话体验。

1、特性

完全本地推理。
支持多种文档格式PDF, DOCX, TXT。
与文档内容进行聊天，提出问题根据文档获得相关答案。
用户友好的界面，确保流畅的交互。

2、工程目录

个人演示的工程目录

 |-- ChatDoc-TPU
    |-- data
        |-- db_tpu        -- 知识库持久化目录
        |-- uploaded      -- 已上传文件目录
    |-- models
        |-- bert_model    -- BERT 模型
        |-- qwen_model    -- qwen-7B 模型
    |-- chat
        |-- chatbot.py    -- ChatDoc业务逻辑脚本
        |-- charglm3      -- charglm3 代码
        |-- qwen          -- qwen 代码
    |-- embedding         -- 文本嵌入模型
    |-- docs              -- 环境安装文档
    |-- static            -- README中图片文件
    |-- README.md         -- README
    |-- config.ini        -- 推理模型配置文件
    |-- requirements.txt  -- 项目依赖
    |-- run.sh            -- 启动脚本
    |-- web_demo_st.py    -- 页面交互脚本

二、意义和价值

Qwen3-langchain-AI Agent 作为一种基于 Qwen3 与 LangChain 框架构建的智能体系统，深度融合了大语言模型的推理能力与LangChain丰富的工具链、记忆模块及工作流编排能力，能够实现复杂任务的分解、多步推理与外部工具协同。然而，此类智能体系统对计算资源的实时性、并发能力与能效比提出更高要求，尤其是在执行长链任务、多工具调用与上下文保持时，需具备稳定高效的计算支持。BM1684X 算力盒子凭借其高性能TPU架构、低功耗特性与边缘端优化能力，为 Qwen3-langchain-AI Agent 在资源受限或高实时性环境中的部署提供了坚实的硬件基础。

二者的结合体现了 “边缘任务编排智能体” 与 “分布式AI工作流” 的前沿发展方向。通过将智能体的任务编排、工具集成与记忆管理能力与 BM1684X 的高效推理与低延迟响应相结合，可在边缘侧实现自主、连续、可靠的多步骤任务执行。这种结合不仅解决了智能体在云端部署中可能面临的网络延迟、数据隐私与系统依赖等问题，也使得复杂AI工作流能够下沉至终端设备、工业现场与物联网节点，推动智能体系统从“中心化服务”向“边缘自治”演进。

三、运行步骤

1、准备Python环境、数据与模型

1.1 首先确认python>3.8，创建并进入虚拟环境

    sudo apt update
    #检查python版本，若不满足则需升级
    python3 --version

    # 创建虚拟环境（不含pip包）
    # ！！！每次运行都要按照步骤切换虚拟环境！！！
    cd /data
    # 创建虚拟环境（不包含 pip）
    python3.10 -m venv --without-pip myenv

    # 进入虚拟环境
    source myenv/bin/activate

1.2 复制算能官方的 ChatDoc - TPU工程目录（或者复制后将文件上传到盒子中的/data下）

    git clone https://github.com/wangyifan2018/ChatDoc-TPU
    cd ChatDoc-TPU
    # 安装相关pip包
    pip3 install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
    #检查pip包情况
    pip list

1.3 安装sail

此例程依赖新版本sail，旧版本需要更新，安装方法请参考Sail_Install_Guide

2 启动

回到ChatDoc-TPU主目录，启动程序

# 使用默认路径启动 Qwen-7b ，模型和配置文件自动下载
./run.sh --model qwen7b --dev\_id 0

当然也可以选用其他模型，参考模板如下：


usage: ./run.sh [--model MODEL]  [--dev_id DEV_ID] [--server_address SERVER_ADDRESS] [--server_port SERVER_PORT]
--model: 选择模型，可选项为 chatglm3/qwen。默认为 "chatglm3"。
--dev_id: 用于推理的 TPU 设备 ID。默认为 0。
--server_address: web server 地址。默认为 "0.0.0.0"。
--server_port：web sever 端口。如不设置，从 8501 起自动分配。