45分钟从零搭建私有MaaS平台和生产级的Qwen3模型服务

今天凌晨，阿里通义团队正式发布了 Qwen3，涵盖六款 Dense 模型（0.6B、1.7B、4B、8B、14B、32B）和两款 MoE 模型（30B-A3B 和 235B-A22B）。其中的旗舰模型 Qwen3-235B-A22B 在代码、数学、通用能力等基准测试中，与 DeepSeek-R1、o1、o3-mini、Grok-3 和 Gemini-2.5-Pro 等顶级模型相比，表现出了强大的竞争力。小型 MoE 模型 Qwen3-30B-A3B 的激活参数是 QwQ-32B 的 10%，但表现更胜一筹，由于激活参数少，推理速度更快。甚至像 Qwen3-4B 这样的小模型也能匹敌 Qwen2.5-72B-Instruct 的性能。

GPUStack 在上周发布了 v0.6 版本，内置支持了 Qwen3。其中 NVIDIA 支持 vLLM 和 llama-box 运行，AMD、Apple Silicon、昇腾、海光、摩尔线程支持 llama-box 运行。今天一早，社区群的各位小伙伴已经开始在各种尝试 Qwen3，我们也带来一篇挑战 45 分钟从零搭建私有 MaaS 平台和生产级的 Qwen3 模型服务的文章，快速搭建和体验 Qwen3 模型。

GPUStack 是一个100%开源的模型服务平台，支持 Linux、Windows 和 macOS，支持 NVIDIA、AMD、Apple Silicon、昇腾、海光、摩尔线程等 GPU 构建异构 GPU 集群，支持 LLM、多模态、Embedding、Reranker、图像生成、Speech-to-Text 和 Text-to-Speech 模型，支持 vLLM、MindIE、llama-box（基于 llama.cpp 与 stable-diffusion.cpp）等多种推理引擎与推理引擎多版本并行，支持资源自动调度分配、模型故障自动恢复、多机分布式推理、混合异构推理、推理请求负载均衡、资源与模型监控指标观测、国产化支持、用户管理与 API 认证授权等各种企业级特性，提供 OpenAI 兼容 API 无缝接入 Dify、RAGFlow、FastGPT、MaxKB 等各种上层应用框架，是企业建设模型服务平台的理想选择。

本篇文章将介绍在一节课 45 分钟内（包括安装和模型下载）搭建 GPUStack 模型服务平台并通过 GPUStack 运行生产级的 Qwen3 模型服务。

计时开始：

前置准备

以下操作环境为一台阿里云 ECS 云主机，操作系统为 Ubuntu 22.04，GPU 为 NVIDIA A10，操作依赖良好的网络条件。

其他操作系统的安装参考每个章节的文档链接。

验证当前环境的 NVIDIA GPU 硬件：

lspci | grep -i nvidia

验证系统已安装 GCC：

gcc --version

安装 NVIDIA 驱动

参考：https://developer.nvidia.com/datacenter-driver-downloads

为当前内核安装内核头文件和开发包：

sudo apt-get update && sudo apt-get install linux-headers-$(uname -r)

安装 cuda-keyring 包：

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb

安装 NVIDIA 驱动：

sudo