10分钟私有部署QwQ-32B模型，像购买Ecs实例一样快捷

已于 2025-05-07 14:02:28 修改
阅读量706 收藏 16
点赞数 23
CC 4.0 BY-SA版权
分类专栏： 计算巢 ComputeNest 文章标签： 人工智能 阿里云
于 2025-04-03 16:21:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/AliCloudROS/article/details/146977982

背景

随着大模型技术的快速发展，开源大模型在自然语言处理、代码生成等领域的应用日益广泛。QwQ-32B作为全球领先的开源大模型，以卓越的性能和广泛的应用场景吸引了众多开发者和企业的关注。
在这里插入图片描述

​ 然而，企业用户部署私有QwQ-32B模型服务是比较繁琐的。虽然阿里云提供了基于 IaaS 部署 QwQ-32B 模型的方式，但传统的基于IaaS的部署方式需要用户自行配置环境、安装依赖、优化硬件资源，并解决复杂的网络与存储问题，整个流程不仅耗时耗力，还容易因操作失误导致各种不可预见的问题。

​ 因此，阿里云计算巢提供了基于ECS镜像与VLLM的大模型一键部署方案，通过ECS镜像打包标准环境，通过Ros模版实现云资源与大模型的一键部署，用户无需关心模型部署运行的标准环境与底层云资源编排，10分钟即可部署使用QwQ-32B模型，15分钟即可部署使用Deepseek-R1-70B模型。

部署说明

​ 本服务通过ECS镜像打包标准环境，通过Ros模版实现云资源与大模型的一键部署，开发者无需关心模型部署运行的标准环境与底层云资源编排，仅需添加几个参数即可享受主流LLM（如Qwen、DeepSeek等）的推理体验。
​ 本服务提供的方案下，以平均每次请求的token为10kb计算，采用4张A10卡的服务实例规格，QwQ-32B理论可支持的每秒并发请求数(QPS)约为13.1；采用8张A10卡的服务实例规格，QwQ-32B理论可支持的每秒并发请求数约为24.1，Deepseek-R1-70B约为9.5。

整体架构

部署流程

  1. 单击部署链接。根据界面提示填写参数，可根据需求选择是否开启公网，可以看到对应询价明细，确认参数后点击下一步：确认订单。
    在这里插入图片描述
  2. 点击下一步：确认订单后可以看到价格预览，随后可点击立即部署，等待部署完成。(提示RAM权限不足时需要为子账号添加RAM权限)
  3. 等待部署完成后，就可以开始使用服务了。点击服务实例名称，进入服务实例详情，使用Api调用示例即可访问服务。如果是内网访问，需保证ECS实例在同一个VPC下。
  4. ssh访问ECS实例后，执行 docker logs vllm 即可查询模型服务部署日志。当您看到下图所示结果时，表示模型服务部署成功。模型所在路径为/root/llm_model/${ModelName}。

使用说明

内网API访问

复制Api调用示例，在资源标签页的ECS实例中粘贴Api调用示例即可。也可在同一VPC内的其他ECS中访问。

公网API访问

复制Api调用示例，在本地终端中粘贴Api调用示例即可。

性能测试

本服务方案下，针对QwQ-32B在4_A10和8_A10实例规格下，分别测试QPS为10、20、50情况下模型服务的推理响应性能，压测持续时间均为20s。

8*A10规格

QPS为10

QPS为20

QPS为50

4*A10规格

QPS为10

QPS为20

QPS为50

QwQ-32B企业级本地部署：结合XInference与Open-WebUI使用
maxcode
03-11 1375
QwQ-32B是阿里巴巴Qwen团队推出的一款推理模型，拥有320亿参数，基于Transformer架构，采用大规模强化学习方法训练而成。它在数学推理、编程等复杂问题解决任务上表现出色，性能可媲美拥有6710亿参数的DeepSeek-R1。QwQ-32B在多个基准测试中表现出色，例如在AIME24基准上，其数学问题解决能力得分达到79.5，超过OpenAI的o1-mini。它在LiveBench、IFEval和BFCL基准上甚至略微超过了DeepSeek-R1-671B。
在阿里云实例上部署通义千问QwQ-32B推理模型
互联网架构师笔记
04-29 720
通义千问QwQ-32B是阿里云开源的320亿参数推理模型，通过大规模强化学习在数学推理、编程及通用任务中实现性能突破，支持消费级显卡本地部署，兼顾高效推理与低资源消耗。本文将介绍如何利用vLLM作为通义千问QwQ-32B模型的推理框架，在一台阿里云GPU实例上构建通义千问QwQ-32B的推理服务。在GPU实例上部署通义千问QwQ-32B模型，需要提前在该实例上安装GPU驱动且驱动版本应为550及以上版本，建议您通过ECS控制台购买GPU实例时，同步选中。
vLLM+QwQ生产环境部署及Transformers推理
cs12341234的博客
04-08 1125
vLLM 是一个快速且易于使用的库，专为大型语言模型 (LLM) 的推理和部署而设计。最先进的服务吞吐量使用 PagedAttention 高效管理注意力键和值的内存量化：GPTQ, AWQ, INT4, INT8, 和 FP8具有高吞吐量服务以及各种解码算法，包括并行采样、束搜索等支持张量并行和流水线并行的分布式推理提供与 OpenAI 兼容的 API 服务器。
在docker中使用vLLM部署大模型
m0_52827625的博客
04-11 2977
注意，如果在启服务的时候遇到了下面这个错误，需要进入到模型所在的文件夹，找到config.json，修改其中的max_position_embeddings字段和你的max_model_len匹配。这里注意，–limit-mm-per-prompt参数尽量加上，如果不加的话，一个对话里最多只能有一张图片，多了就会报错400，这里我随便设成了5，一个对话中对于5张图片就会报400。这个网站就可以实现，直接把转换内容替换到上面 “url” 的值就可以了，因为那个编码太长了，贴一张图片作为例子。
【大模型实战篇】华为信创环境采用vllm部署QwQ-32B模型
源泉的小广场
05-01 1833
华为、信创、qwq-32b、昇腾、鲲鹏、vllm、vllm-ascend、ascend、模型推理、模型部署
低成本构建私有AI大脑：基于vLLM+Qwen-32B的本地大模型一体化方案
2503_91775846的博客
04-22 1127
vLLM（向量化大语言模型服务系统）是由加州大学伯克利分校团队精心打造的一款高性能且易于扩展的大语言模型（LLM）推理引擎。该引擎致力于通过前沿的内存管理与计算优化技术，实现高吞吐量、低延迟以及低成本的模型服务。vLLM创新性地运用了PagedAttention内存管理技术，极大提升了GPU显存的利用率，同时具备分布式推理功能，能够高效整合多机多卡资源。无论是对低延迟、高吞吐量有严格要求的在线服务场景，还是在资源受限的边缘部署环境中，vLLM均能展现出卓越的性能表现。中文站点英文站点。
vllm部署QwQ32B(满精度)
hbkybkzw的博客
03-24 2719
Ollama是一个轻量级的开源LLM推理框架，注重简单易用和本地部署，而VLLM是一个专注于高效推理的开源大型语言模型推理引擎，适合开发者在实际应用中集成和使用。两者的主要区别在于Ollama更注重为用户提供多种模型选择和易用性，而VLLM更注重模型推理性能的优化。所以VLLM更适合企业级的高并发需求。vllm的github地址QwQ32B硬件要求Q4_K_M量化，大概需要22G左右够用，一张3090或者4090即可，魔改2080ti 的 22G 显存差不多够用。
vLLM+Qwen-32B+Open Web UI构建本地私有大模型，小白收藏这一篇就够了！！
嘴巴吃糖了
04-02 1174
vLLM（Vectorized Large Language Model Serving System）是由加州大学伯克利分校团队开发的高性能、易扩展的大语言模型（LLM）推理引擎，专注于通过创新的内存管理和计算优化技术实现高吞吐、低延迟、低成本的模型服务。vLLM采用PagedAttention内存管理技术，显著提升GPU显存利用率，同时支持分布式推理，能高效利用多机多卡资源。无论是低延迟、高吞吐的在线服务，还是资源受限的边缘部署场景，vLLM 都能提供卓越的性能表现。
QwQ-32B-GGUF模型部署
NDF923的专栏
04-01 1228
由于硬件只有两张4090卡，但是领导还想要满血版32b的性能，那就只能部署GGUF版。据说QwQ-32B比Deepseek-R1-32b要更牛逼一些，所以就选择部署QwQ-32B-GGUF，根据最终的测试--针对长文本（3-5M大小）的理解，QwQ-32B-GGUF确实要比Deepseek-R1-32b-GGUF好一些。是阿里官方发布的原始模型，通常以 PyTorch 权重文件（如.bin或）形式存储，需依赖深度学习框架（如 Hugging Face Transformers）加载。
保姆级教程：阿里QwQ-32B模型本地部署与企业级应用实战（附万字指南+工具链）
资深全栈架构师，乐于在 优快云 分享技术见解，与大家携手共进，共攀技术巅峰！
03-07 1219
验证API（curl http://localhost:8000）克隆仓库（git clone https://...）安装依赖（CUDA 12.1 + cuDNN）启动服务（python server.py）数据来源：阿里开源文档[[4]][[6]]下载模型权重（ModelScope）
2025最新QwQ-32B模型使用教程：从部署到实战，手把手教你玩转AI推理模型（附保姆级指南）
资深全栈架构师，乐于在 优快云 分享技术见解，与大家携手共进，共攀技术巅峰！
03-07 2275
QwQ-32B是阿里巴巴推出的最新推理模型，仅用320亿参数，性能媲美671B参数的DeepSeek-R1。它在数学、编程和通用能力方面表现卓越，支持多模态任务和Agent相关能力，能够根据环境反馈动态调整策略。QwQ-32B不仅是AI技术的突破，更是推理模型的典范。无论是数学、编程还是逻辑推理，它都能帮你高效完成任务。立即行动，下载模型并加入开发者社区，开启你的AI推理之旅！👉 关注作者并私信“QwQ教程”获取全套案例代码与资源包！#QwQ32B #AI推理模型 #保姆级教程 #2025趋势。
【4090】【LLaMA-Factory】：硬件评估
qq_53690996的博客
12-23 650
综上得出一张4090的卡性能在435个tokens左右，而且因为是代码相关的，代码相关的有一个特点，就是输入比较少，而结果特别长，这也就导致tokens可能会低一些，借此我们评估4张4090显卡的性能大概在 1720 - 1760 个tokens左右（其他对面模型可能要比这个高一些）期间尝试了 更改为全部序列，在我将内容输出看，看到只加载到了一张卡上，期间尝试分配到多张卡上，发现只有第0张卡在使用。其他尝试 更换为 deepseek-v1.5-coder-7b模型。微信图片_20241203230。
RX580双卡32GB显存跑DeepSeek-R17b、8b、14b、32b实测
03-03 1365
壹千元配置两张Rx580 16GB显卡，小微企业、个人单机处理标书、合同等有保密要求的文件，跑DeepSeek-R1-32b最佳选择。文案每秒输出5个字，基本流畅，功耗、噪音较低。RX 580 双卡32GB显存 跑DeepSeek-R1。7b、8b、14b、32b实测。
Qwen3 系列的后训练技术
yanqianglifei的专栏
04-29 607
阿里今日推出新一代开源大模型Qwen3系列，在代码、数学、通用能力等基准测试中达到顶级模型水平（如DeepSeek-R1、o1、Grok-3等）。
比肩满血DS，阿里开源 QwQ-32B 本地部署，Ollma/vLLM 实测对比，消费级显卡可跑，效果炸裂
u010522887的专栏
03-13 2594
本文带大家本地部署了最新开源的推理模型 `QwQ-32B`，并通过 Ollama/vLLM 进行了本地部署实测。
云端体验 DeepSeek V3 0324/ Qwen2.5 VL 32B
OneThingAI的博客
03-27 382
登录OneThingAI平台，进入镜像中心，选择vLLM推理引擎，点击创建实例（8卡可跑，更好的体验需要2台H20通过【文件管理】查看DeepSeek 相关模型。
阿里的QwQ-32B部署，需要选择什么样的服务器配置？
u011250186的博客
05-08 429
阿里的QwQ-32B部署，需要选择什么样的服务器配置？
时间序列预测Python机器学习应用
最新发布
木头大左的博客
07-23 836
时间依赖性：当前值受过去值的影响。趋势性：数据可能呈现长期上升或下降的趋势。季节性：数据在固定周期内重复出现的模式。噪声：随机波动，无明显规律。
vllm部署qwq-32b模型
03-20
<think>嗯，用户想了解如何部署qwq-32b模型到VLLM平台上。首先，我需要回忆一下VLLM的基本知识。VLLM是一个高效推理和部署框架，支持大规模语言模型，特别是优化了自回归模型的推理速度。那部署模型的一般步骤是什么呢？通常需要安装环境、下载模型、配置参数、启动服务。 接下来，用户提到的qwq-32b模型，我需要确认是否有相关的引用信息。查看用户提供的引用内容，引用[1]提到了模型下载的路径，引用[2]和[3]则涉及部署中的注意事项，比如量化版本和tokenizer的问题。特别是引用[3]提到需要修改tokenizer_config.json文件来解决输出问题，这可能是一个关键步骤。 首先，安装VLLM。用户可能需要安装最新版本，使用pip命令。然后，下载模型，根据引用[1]的路径，使用modelscope或者git lfs下载。需要注意模型文件的大小，引用[2]提到量化版本可能更适合消费级显卡，比如4bit的20G版本，这可能影响用户的选择。 然后配置环境，可能需要设置CUDA环境变量。启动服务时，使用vllm的命令行工具，指定模型路径、tensor并行数等参数。如果遇到不输出<think>的问题，引用[3]的解决方法是修改tokenizer配置文件，删除相关token，这需要用户找到对应的json文件进行调整。 还需要考虑硬件要求，比如GPU显存是否足够。如果用户使用消费级显卡，可能需要量化模型，如引用[2]提到的。此外，部署后如何测试服务，比如使用curl或Python客户端发送请求，验证是否正常工作。 可能用户遇到的问题包括模型路径错误、显存不足、tokenizer配置问题等，需要逐一排查。总结步骤应该是：安装依赖→下载模型→调整配置→启动服务→验证测试。同时，提醒用户注意量化版本的选择和可能的配置调整，确保部署顺利。</think>### 分步教程：使用vLLM部署QwQ-32B模型 #### 一、环境准备 1. 安装CUDA驱动 确保显卡驱动支持CUDA 11.8+，通过命令验证： ```bash nvidia-smi ``` 2. 创建虚拟环境（推荐） ```bash conda create -n vllm python=3.9 conda activate vllm ``` #### 二、模型下载 1. 通过ModelScope获取完整模型（需约60GB显存）： ```bash pip install modelscope python -c "from modelscope.hub.snapshot_download import snapshot_download; snapshot_download(&#39;Qwen/QwQ-32B&#39;, cache_dir=&#39;./QwQ-32B&#39;)" [^1] ``` 2. （可选）下载4bit量化版本（约20GB）： ```bash ollama pull QwQ-32B:4bit ``` #### 三、vLLM安装与配置 1. 安装最新版vLLM： ```bash pip install vllm ``` 2. 修改tokenizer配置（解决不输出<think>问题）： ```bash vim ./QwQ-32B/tokenizer_config.json # 删除"<think>"相关配置项[^3] ``` #### 四、启动推理服务 1. 基础启动命令（需A100 80G*2）： ```bash python -m vllm.entrypoints.openai.api_server \ --model ./QwQ-32B \ --tensor-parallel-size 2 \ --gpu-memory-utilization 0.95 ``` 2. 消费级显卡启动（如RTX 3090 24G*2）： ```bash python -m vllm.entrypoints.openai.api_server \ --model QwQ-32B:4bit \ --quantization awq \ --dtype half \ --tensor-parallel-size 2 ``` #### 五、服务验证 1. Python客户端测试： ```python from openai import OpenAI client = OpenAI(base_url="http://localhost:8000/v1") response = client.chat.completions.create( model="QwQ-32B", messages=[{"role": "user", "content": "解释量子纠缠"}] ) print(response.choices[0].message.content) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值