vllm+vllm-ascend本地部署QwQ-32B

最新推荐文章于 2025-12-10 11:28:22 发布
原创 最新推荐文章于 2025-12-10 11:28:22 发布 · 1.3k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#vllm #vllm-ascend

1 模型下载

可按照此处方法下载预热后的模型，速度较快（推荐artget方式）

https://mirrors.tools.huawei.com/mirrorDetail/67b75986118b030fb5934fc7?mirrorName=huggingface&catalog=llms

或者从hugging face官方下载。

2 vllm-ascend安装

2.1 使用vllm+vllm-ascend基础镜像

基础镜像地址：https://quay.io/repository/ascend/vllm-ascend?tab=tags&tag=latest
拉取镜像（v0.7.0.3的正式版本尚未发布）

docker pull quay.io/ascend/vllm-ascend:v0.7.3-dev

启动镜像
QwQ-32B 需要70G以上显存，2张64G的卡

docker run -itd --net=host --name vllm-ascend-QwQ-32B --device /dev/davinci0 --device /dev/davinci1 --device /dev/dav
最低0.47元/天 解锁文章
zjun3021
关注
昇腾，Ascend，NPU，mindie，镜像，部署vllm：第5篇，昇腾环境下部署蒸馏版deepseek-r1，并在dify中注册模型供应商
xiezhipu的博客
02-11 2184
这两天没少折腾deepseek-r1。之前在A100上用ollama部署了一份DeepSeek-R1-Distill-Qwen-32B，感觉真的特别慢。现在，再用昇腾部署一遍，看看速度能不能更快。p.s. 类似的内容其实已经写了很多遍了。但感觉之前写得都太碎，不够顺畅。接着新模型写篇长文，把能包括的都包括进来。这样大家也不需要到处翻来翻去。
什么是vllm_ascend
keyboard专栏
11-02 817
vLLM-Ascend是vLLM推理框架在华为昇腾NPU上的移植版本，旨在让昇腾910/910B等设备也能使用vLLM的高性能特性（如分页KV Cache、连续批处理）。该版本通过将CUDA后端替换为华为ACL/CANN实现，适配昇腾生态，支持GLM、Kimi等国产模型的高效推理。其典型应用场景是需要国产化替代又希望保留vLLM优势的环境，安装需配备昇腾NPU和CANN工具链。该分支持续跟进国产大模型发展趋势，为昇腾用户提供类似原版vLLM的体验。
vLLM在Ascend上的适配解析
weixin_43549643的博客
07-17 2981
通过图片可以看到，vllm-ascend plugin使Ascend社区开发的能够让大模型推理框架vLLM无缝运行在华为NPU上的硬件后端插件。Plugin方法优点类似于面向对象思想当中的继承和多态，官方考虑通用性和定义框架标准（父类），由Ascend通过继承PlatForm，自己实现Worker、ModelRunner、AttentionBackend等子类。Ascend通过优化，将vLLM的核心计算图对接到了自己的CANN算子库上。
VLLM x Ascend框架
hang on it more longer
03-29 1845
备注：vllm安装失败，报ERROR: Could not build wheels for vllm, which is required to install pyproject.toml-based projects。vllm-ascend 和 torch-npu 所需。torch-npu 和 vllm 所需。vllm-ascend 必需。vllm 和 vllm-当前版本依赖于未发布的版本。
vLLM 昇腾插件 (vllm-ascend) 0.7.1rc1源码
03-12
vLLM 昇腾插件 (vllm-ascend) 是一个让vLLM在Ascend NPU无缝运行的后端插件。 此插件是 vLLM 社区中支持昇腾后端的推荐方式。它遵循[RFC]: Hardware pluggable所述原则：通过解耦的方式提供了vLLM对Ascend NPU的支持。 使用 vLLM 昇腾插件，可以让类Transformer、混合专家(MOE)、嵌入、多模态等流行的大语言模型在 Ascend NPU 上无缝运行。
【亲测免费】 vllm-ascend：为Ascend NPU提供无缝支持的AI模型插件
最新发布
gitblog_00524的博客
12-10 1486
vLLM Ascend 插件（vllm-ascend）是一款由社区维护的开源后端插件，旨在让vLLM——一款流行的语言模型框架——在华为Ascend NPU上实现无缝运行。vLLM Ascend 插件遵循硬件可插拔原则，提供了灵活且强大的性能，使得Ascend NPU用户能够轻松接入并运行复杂的语言模型。 ## 项目技术分析 vLLM Ascend 插件的核心技术优势在于其对Ascend NP
Vllm-Ascend与Mindie-LLM的Profiling分析对比
DanteQiu62的博客
06-30 992
创建docker容器（可选）安装Mindie-Turbo配置环境变量创建推理python脚本vim run.py这里使用Qwen2.5-7B进行对比，填入如下脚本，可根据实际情况调整prompts执行python脚本如果能够成功推理，进入如下路径执行如下指令采集Profiling由于在docker环境内，采集的Profiling数据由于权限问题无法导出，执行如下指令更改文件夹及文件夹内所有文件的权限。
昇思MindSpore支持QwQ-32B并上线魔乐社区
2401_87243659的博客
03-10 1208
昇思MindSpore原生支持Qwen2.5-32B, 在此基础上0Day完成QwQ-32B的支持，并且完成性能测试。魔乐社区已第一时间上架该模型，欢迎广大开发者下载体验！此外，MindSpore将于近期支持vLLM推理框架部署，敬请期待！ 🔗 模型链接：https://modelers.cn/models/MindSpore-Lab/QwQ-32B
昇腾Ascend310b部署deepseek-r1-7b的学习记录
maken
06-18 1728
9.鲲鹏服务器+昇腾卡（Atlas 300I pro）搭建DeepSeek-R1-Distill-Qwen-7B（自己存档详细版）5.如何使用昇腾Ascend 300I Pro 310P芯片 单卡运行DeepSeek-R1-Distilled-Qwen-7B。6.鲲鹏服务器+昇腾卡（Atlas 300I pro）搭建DeepSeek-R1-Distill-Qwen-7B。7.鲲鹏+昇腾部署DeepSeek-R1-Distill-Qwen-32B+Open-webui。
vllm昇腾部署32b模型
06-04
### 部署32位模型到昇腾平台使用vLLM框架的详细方法 在昇腾平台上部署32位模型并使用vLLM框架，需要完成以下几个关键步骤：模型准备、环境配置和脚本运行。以下是具体实现方式。 #### 1. 模型准备 确保已经准备好...
大模型推理适配实战：手把手带你完成vLLM Ascend迁移实操
2401_87243659的博客
09-20 2085
本文详细介绍了在魔乐社区部署多模态大模型推理服务的完整流程。首先配置基于OpenEuler的NPU开发环境，安装LLaMA-Factory等依赖包并进行环境验证。接着演示了如何下载Qwen2.5-VL-3B-Instruct等模型权重，并提供了三种推理部署方式：交互式终端、OpenAI兼容API服务以及离线推理脚本。重点说明了多模态模型处理图像输入的注意事项，包括正确的占位符使用方式。最后指导用户将验证通过的模型上传至魔乐社区模型库，包括创建模型仓库、设置Git LFS跟踪大文件等步骤。整个过程涵盖了从环境
基于vllm-ascend的华为atlas大模型部署
年轻即出发，
05-13 3777
或者，gpu-memory-utilization取值0-1之间，默认取值0.9，之所以增加gpu-memory-utilization参数，是因为DeepSeek 的"max_position_embeddings": 131072，远远大于qwen3的"max_position_embeddings": 40960。解释:比如跑Qwen3-8B 模型，--tensor-parallel-size=2 表示将一个层中的计算任务分成2份，在2个 GPU 之间并行执行。利用vllm进行部署，
【大模型实战篇】华为信创环境采用vllm部署QwQ-32B模型
源泉的小广场
05-01 3040
华为、信创、qwq-32b、昇腾、鲲鹏、vllm、vllm-ascend、ascend、模型推理、模型部署
DaoCloud公开镜像仓库白名单机制解析：以vllm-ascend项目为例
gitblog_07627的博客
06-30 309
DaoCloud公开镜像仓库白名单机制解析：以vllm-ascend项目为例 【免费下载链接】public-image-mirror 很多镜像都在国外。比如 gcr 。国内下载很慢，需要加速。 项目地址: https://gitc...
DaoCloud 镜像同步项目实践：以 vLLM-Ascend 镜像为例
gitblog_07044的博客
06-30 445
DaoCloud 镜像同步项目实践：以 vLLM-Ascend 镜像为例 【免费下载链接】public-image-mirror 很多镜像都在国外。比如 gcr 。国内下载很慢，需要加速。 项目地址: https://gitcod...
【人工智能】华为昇腾NPU-Vllm Ascend部署及镜像制作
静待花开时，终有重逢日。
07-14 2102
本文介绍了两种在华为昇腾NPU上部署vLLM推理服务的方法：1）通过源码构建npu版vllm镜像，详细说明了vllm-ascend的安装步骤、模型测试方法及服务启动命令；2）使用官方预构建的vllm-ascend镜像，提供完整的容器启动脚本和API测试示例。文章包含LLM和Embedding模型的完整部署方案，涉及Dockerfile编写、启动脚本配置、一键部署脚本以及Python API调用代码，支持单问题和批量请求测试，适用于Qwen2.5-72B-Instruct和BGE-M3等模型的昇腾NPU推理场
解决Ascend上vllm运行时出现urllib3.exceptions.SSLError: [SSL: CERTIFICATE_VERIFY_FAILED]
xyz3120的专栏
12-25 745
在Ascend上运行vllm测试
vLLM + QwQ-32B-4bit 私有化部署
03-15
<think>好的，用户想了解如何在本地服务器上私有化部署vLLM和QwQ-32B-4bit模型。首先，我需要回忆vLLM的基本部署流程。vLLM是一个高效的推理框架，支持大模型的部署，通常需要安装Python包，配置环境，加载模型。然后，QwQ-32B-4bit是阿里开源的量化模型，可能需要特定的步骤来加载量化后的版本。 接下来，用户提到的QwQ-32B-4bit需要单卡4090，24GB显存，这符合引用中的信息。要部署这个模型，可能需要使用XInference或者Open-WebUI，如引用2所述。但用户提到的是vLLM，所以可能需要结合vLLM的部署方法。 我需要分步骤来写，先讲vLLM的安装和环境配置，再讲如何下载QwQ-32B-4bit模型，最后整合两者，给出启动命令。需要注意模型路径是否正确，是否支持4bit量化。同时，可能遇到依赖问题，需要提醒用户安装正确的CUDA版本和依赖库。 另外，用户可能需要验证部署是否成功，所以添加一个测试示例，比如发送请求到API。还要考虑常见问题，比如显存不足或者模型加载失败，给出排查建议。最后，引用相关的资料，确保信息准确。</think>### vLLM与QwQ-32B-4bit私有化部署教程 #### 一、环境准备 1. **硬件要求**： - NVIDIA显卡（推荐RTX 4090 24GB，满足QwQ-32B-4bit量化模型部署需求）[^3] - CUDA 11.8+环境 2. **软件依赖**： - Python 3.8+ - 安装vLLM框架： ```bash pip install vllm ``` #### 二、模型下载与配置 1. **获取QwQ-32B-4bit模型**： - 从阿里官方仓库或Hugging Face下载量化模型文件 - 模型目录结构示例： ``` QwQ-32B-4bit/ ├── config.json ├── pytorch_model.bin └── quantization_config.json ``` 2. **验证模型兼容性**： - 确认vLLM支持4bit量化格式（需vLLM 0.4.0+版本） #### 三、服务部署 1. **启动vLLM服务**： ```bash python -m vllm.entrypoints.openai.api_server \ --model /path/to/QwQ-32B-4bit \ --tensor-parallel-size 1 \ --quantization awq # 根据实际量化方式调整 ``` 2. **验证部署**： ```python from vllm import LLM llm = LLM(model="/path/to/QwQ-32B-4bit") print(llm.generate("你好")) ``` #### 四、高级配置（可选） 1. **多GPU并行**： ```bash --tensor-parallel-size 2 # 使用2块GPU ``` 2. **API服务扩展**： - 结合Open-WebUI搭建交互界面[^2] - 配置反向代理实现HTTPS访问 #### 五、常见问题排查 1. **显存不足**： - 检查模型是否成功加载4bit量化版本 - 使用`nvidia-smi`监控显存使用 2. **模型加载失败**： - 确认CUDA版本与vLLM兼容 - 检查模型文件完整性
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值