在昇腾Ascend 910B上运行Qwen2.5推理

最新推荐文章于 2025-08-08 10:21:43 发布
原创 最新推荐文章于 2025-08-08 10:21:43 发布 · 2k 阅读 · 11 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #语言模型 #AIGC

目前在国产 AI 芯片，例如昇腾 NPU 上运行大模型是一项广泛且迫切的需求，然而当前的生态还远未成熟。从底层芯片的算力性能、计算架构的算子优化，到上层推理框架对各种模型的支持及推理加速，仍有很多需要完善的地方。

今天带来一篇在昇腾 910B 上运行 Qwen 2.5 执行推理的操作实践。

配置昇腾环境

在昇腾 NPU 服务器上，确认昇腾 NPU 驱动已安装：

npu-smi info

根据架构下载对应的 CANN Toolkit 包（开发套件）和对应芯片的 Kernel 包（CANN 算子） https://www.hiascend.com/zh/software/cann/community-history：

wget https://ascend-repo.obs.cn-east-2.myhuaweicloud.com/Milan-ASL/Milan-ASL%20V100R001C19SPC703/Ascend-cann-toolkit_8.0.RC3.alpha003_linux-aarch64.run
wget https://ascend-repo.obs.cn-east-2.myhuaweicloud.com/Milan-ASL/Milan-ASL%20V100R001C19SPC703/Ascend-cann-kernels-910b_8.0.RC3.alpha003_linux-aarch64.run

安装 Toolkit，按提示操作：

sudo sed -i 's/user=true/user=false/' ~/.pip/pip.conf
sudo chmod +x Ascend-cann-toolkit_8.0.RC3.alpha003_linux-aarch64.run && sudo ./Ascend-cann-toolkit_8.0.RC3.alpha003_linux-aarch64.run --install --install-for-all

安装 Kernel，按提示操作：

sudo chmod +x Ascend-cann-kernels-910b_8.0.RC3.alpha003_linux-aarch64.run && sudo ./Ascend-cann-kernels-910b_8.0.RC3.alpha003_linux-aarch64.run --install --install-for-all

配置环境变量：

sudo echo "source /usr/local/Ascend/ascend-toolkit/set_env.sh" >> /etc/profile
source /usr/local/Ascend/ascend-toolkit/set_env.sh

昇腾环境已经配置完成，接下来准备运行 Qwen 2.5 模型的私有大模型服务平台。

安装 GPUStack

GPUStack 是一个开源的大模型即服务平台，支持 Nvidia、Apple Metal、华为昇腾和摩尔线程等各种类型的 GPU/NPU，可以在昇腾 910B 上运行包括 Qwen 2.5 在内的各种大模型，安装步骤如下。

通过以下命令在昇腾 NPU 服务器上在线安装 GPUStack，在安装过程中需要输入 sudo

最低0.47元/天 解锁文章
GPUStack
关注
华为NPU服务器昇腾Ascend 910B2部署通义千问Qwen2.5——基于mindie镜像一路试错版（二）
xiezhipu的博客
12-03 3387
我们在上一篇文章华为NPU服务器昇腾Ascend 910B2部署通义千问Qwen2.5——基于mindie镜像一路试错版（一）中，介绍了一些准备工作。我估计这些东西下载好还是需要一点时间的，如果你幸运地通过了这些考验，还想继续的话，就来看看这一篇吧。在本篇文章中，我们继续深入探讨了如何在华为NPU服务器昇腾Ascend 910B2上部署通义千问Qwen2.5模型。
GPU 进阶笔记（二）：华910B GPU
热门推荐
hao_wujing的专栏
12-30 5万+
！
7卡昇腾910B环境中完成Qwen2.5-32B的部署与测试验证（仅供参考）
最新发布
08-08 1875
指标优化目标测试工具AI Core利用率≥80%单token生成延迟≤100ms（批量=16）vLLM监控API + 自定义脚本吞吐量vLLM显存占用单卡≤90GB。
“华为Ascend 910B AI芯片挑战NVIDIA A100：效能比肩，市场角逐加剧“
存储随笔
06-11 8887
如此高性能低功耗的表现，吸引了包括腾讯、百度在内的多家中国领先企业采用，用于会议任务，显示出市场对华为AI芯片的广泛接纳，同时对NVIDIA的AI芯片市场份额构成实质性的冲击。华为自主研发的人工智能芯片——Ascend 910B，近期在世界半导体大会及南京国际半导体博览会上由华为ICT基础设施管理委员会执行董事、主任王涛发表声明称，该芯片在训练大规模语言模型时的效率高达80%，与NVIDIA的A100相比毫不逊色，且在具体测试性能上更是超出NVIDIA A100 AI GPU约20%之多。
昇腾系列芯片命名搞不清？看这一篇就够了！！！
小白菜的博客
03-03 1万+
Ascend310（基本淘汰）
基于昇腾910B搭建多节点K8s集群
小白菜的博客
01-11 3891
自从 2013 年 Docker 诞生以来，容器一跃成为 IT 界最热门的话题。而 Kubernetes 趁着容器的东风，击败众多竞争对手，成为了“容器编排”领域的King。可以说，现在 Kubernetes 已经没有了实际意义上的竞争对手，它的地位就如同 Linux 一样，成为了事实上的云原生操作系统，是构建现代应用的基石。
昇腾910B大模型分布式微调
qq_45000512的博客
02-13 1474
adapter_name_or_path: /mnt/models/output/0806-004/checkpoint-100 #生成的微调路径。#第一步切换到两个容器实例上查看对应的输出文件（分布式情况下对应的实例都查看下或者查看日志output输出到具体的那个实例）model_name_or_path: /mnt/models/Qwen1.5-0.5B-Chat # 原模型路径。kubectl exec -it <pod_name> -- /bin/bash #对应的实例名字。
昇腾910B ATLAS 300 A2 计算卡开箱检验与集群通信使能指南
aosudh的博客
11-29 6358
昇腾910B通过卡上AICPU内置的NIC与集群中的其他卡进行通信，其中通信协议是，集合通信库（ Huawei Collective Communication Library ，简称HCCL）是基于昇腾硬件的高性能集合通信库，提供单机多卡以及多机多卡间的数据并行、模型并行集合通信方案。HCCL支持AllReduce、Broadcast、Allgather、ReduceScatter、AlltoAll等通信原语，Ring、Mesh、HD等通信算法，在HCCS、RoCE和PCIe高速链路实现集合通信。
LLM训推适配-[昇腾910B]-qwen2.5精度测试+高效推理
10-17 4885
昇腾部署qwen2.5大模型，以及相关适配验证。
昇腾系列芯片命名
顺其自然~专栏
03-21 9761
Ascend310（基本淘汰）
国内外 AI 芯片概述
顺其自然~专栏
01-01 2万+
AI芯片也被称为AI加速器或计算卡，从广义上讲只要能够运行人工智能算法的芯片都叫作 AI 芯片。但是通常意义上的 AI 芯片指的是针对人工智能算法做了特殊加速设计的芯片。本文简要介绍了AI芯片的种类以及一些国内外AI芯片厂商发布的AI芯片。
AI芯片：华为Ascend（昇腾）910结构分析
evolone的专栏
08-26 4万+
前几天，华为发布了最新的AI芯片，号称目前全球最强，算力吊打谷歌TPU3和英伟达Tesla V100。 这么震撼人心，必须挺一波！！ 华为牛逼！！ （这句5毛） 下面来具体分析一下。 一、昇腾910的整体结构 我去华为官网查了一下，然后就得到这么一点信息： （之后截图补上，这是地址：https://e.huawei.com/cn/products/cloud-computing-dc/atlas/...
鲲鹏+昇腾Atlas800IA2（910B4）部署Qwen3-32B【简单自用版】
mizhiakk的博客
05-22 5452
Qwen3-32B是Qwen系列中最新一代的大型语言模型，具备强大的推理、指令遵循、代理功能和多语言支持能力。该模型支持思维模式和非思维模式的切换，适用于复杂逻辑推理和高效通用对话。部署Qwen3-32B需要下载相应的权重数据和镜像包，并通过Docker加载镜像并启动容器。在配置文件中设置模型权重路径和使用的芯片数量后，可以拉起服务化推理并进行测试。尽管在部署过程中可能会遇到依赖问题，但通过社区支持可以顺利解决。Qwen3-32B在多种任务中表现出色，提供了更自然、更沉浸式的对话体验。
昇腾910B国产化大模型适配指南
qq_42751565的博客
06-01 1万+
华为910B国产化大模型训练环境安装指南，支持Huggingface模型以及DDP分布式训练框架。
Ascend 910B NPU 部署文档
风华talk的博客
05-21 1526
Ascend 910B NPU 部署文档。
华为昇腾Ascend系列 之 01 什么是昇腾芯片？AIGC浪潮已至，进一步推动对芯片和算力的需求，主流 GPGPU/ASIC 产品性能对比（Ascend 910、Ascend 910B）
iCloudEnd的博客
06-03 6280
昇腾 310 和 910 处理器为华为AI 算力领域核心产品，910 单卡 Int8 算力大致可达 0.6 P，最大功耗为 300W，已可对标国际主流 GPU。且昇腾计算产业在硬件方面坚持“硬件开放”策略，通过自有硬件和合作硬件相结合的方式，可为客户提供多样化的算力选择。
【GPU性能】英伟达 vs海思：GPU性能一览
沐风—云端行者
01-18 5234
对于 8 卡 A800 和 910B 模块而言，910B HCCS 的总带宽为392GB/s，与 A800 NVLink (400GB/s) 相当。NVIDIA NVLink采用全网状拓扑，如下所示，（双向）GPU-to-GPU 最大带宽可达到400GB/s （需要注意的是，下方展示的是8。华为HCCS采用对等拓扑（没有 NVSwitch 芯片之类的东西），所以（双向） GPU-to-GPU 最大带宽是56GB/s;值得注意的是，HCCS vs. NVLINK的GPU 间带宽。
昇腾910b部署Chatglm3-6b进行流式输出【pytorch框架】NPU推理
懒惰是科技进步的原始动力
01-08 7102
解决chatglm输出乱码，No such file or directory: "*.safetensors"
如何在昇腾910B上实现 Qwen2.5-VL 模型的部署
06-27
<think>我们正在处理一个在昇腾910B硬件平台上部署Qwen2.5-VL模型的任务。根据引用内容，我们有一些相关的部署经验可以参考，但需要针对Qwen2.5-VL进行适配。关键点：1.昇腾910B的环境准备：包括驱动、固件、CANN工具包和kernels。2.模型下载：可以使用ModelScope下载模型到本地。3.部署方法：参考了Qwen2-VL的部署经验，但Qwen2.5-VL可能需要类似的步骤。步骤规划：1.环境准备：安装昇腾910B所需的驱动、固件和CANN工具包。2.下载模型：使用ModelScope下载Qwen2.5-VL模型。3.转换模型：将模型转换为昇腾支持的格式（如OM模型）。4.部署推理：使用昇腾提供的推理框架（如MindSpore、MindIE或vLLM）进行部署。由于Qwen2.5-VL是一个多模态模型，部署时需要注意处理图像和文本两种输入。参考引用[1]中提到了使用ModelScope下载模型，并部署vLLM（但昇腾平台可能需要使用MindSpore或MindIE）。引用[2]则提到了基于LoRA的微调，但我们现在是部署，所以重点在推理。具体步骤：第一步：环境准备根据引用[2]，我们需要安装以下组件（注意版本）：-驱动：Ascend-hdk-910b-npu-driver_24.1.rc3_linux-aarch64.run-固件：Ascend-hdk-910b-npu-firmware_7.5.0.1.129.run-CANN工具包：Ascend-cann-toolkit_8.0.RC3.alpha003_linux-aarch64.run-kernels：Ascend-cann-kernels-910b_8.0.RC3.alpha003_linux-aarch64.run安装步骤（以root用户执行）：1.安装驱动和固件。2.安装CANN工具包和kernels。注意：确保安装环境为aarch64（ARM架构），因为昇腾910B通常运行在ARM服务器上。第二步：下载模型使用ModelScope下载Qwen2.5-VL模型。由于ModelScope上可能还没有直接命名为Qwen2.5-VL的模型，我们需要确认模型名称。假设模型名称为`Qwen/Qwen2.5-VL-7B`（具体以ModelScope官网为准），则下载命令为：```bashmkdirQwen2.5-VL-7Bmodelscopedownload--modelQwen/Qwen2.5-VL-7B--local_dir./Qwen2.5-VL-7B```第三步：模型转换将下载的PyTorch模型转换为昇腾支持的OM模型。这通常需要使用CANN工具包中的ATC工具。转换步骤：1.将模型转换为ONNX格式（可能需要使用MindSpore的导出工具或PyTorch的导出功能）。2.使用ATC工具将ONNX模型转换为OM模型。注意：Qwen2.5-VL是多模态模型，转换时需要确保同时支持图像和文本输入。第四步：部署推理昇腾平台支持多种推理方式：-使用MindSpore进行推理：编写MindSpore推理脚本。-使用MindIE（昇腾模型推理引擎）：这是一个针对大模型优化的推理引擎。-使用vLLM：但昇腾平台可能需要使用昇腾优化的vLLM版本（如MindIE-vLLM）。由于Qwen2.5-VL是多模态模型，我们可能需要编写自定义的推理流程，分别处理图像和文本输入。参考引用[1]中部署Qwen2-VL的经验，我们可以尝试使用MindIE进行部署。但注意，Qwen2.5-VL是较新的模型，可能需要适配。建议步骤：1.尝试使用MindSporeLite进行推理。2.或者使用昇腾提供的多模态模型部署示例进行修改。由于具体部署代码较为复杂，这里提供一个大致的MindSpore推理示例（伪代码）：```pythonimportmindsporeasmsfrommindsporeimportcontextfromqwen_modelimportQwenVLModel#假设有对应的模型定义context.set_context(device_target="Ascend")#加载模型model=QwenVLModel()ms.load_checkpoint("path/to/checkpoint.ckpt",model)model.set_train(False)#处理输入（图像和文本）image=load_image("example.jpg")text="这是什么图片？"inputs=preprocess(image,text)#推理outputs=model(inputs)#后处理answer=postprocess(outputs)print(answer)```注意：实际部署中，我们可能需要使用MindSpore的Graph模式或者使用MindIE来获得更好的性能。另外，昇腾社区可能提供了Qwen模型的示例，建议查阅昇腾模型仓（AscendModelZoo）或MindSporeModelZoo是否有Qwen2.5-VL的参考实现。问题与挑战：1.模型转换：多模态模型的转换可能复杂，需要确保所有算子都支持昇腾平台。2.性能优化：使用昇腾的算子优化和量化技术提升推理速度。3.内存限制：7B模型在部署时可能面临内存限制，需要合理分配内存。建议：-如果遇到算子不支持的问题，可以尝试在ATC转换时进行算子映射或自定义算子。-使用昇腾平台提供的性能分析工具进行调优。由于部署多模态大模型是一个复杂的过程，以上步骤仅供参考，具体实施时需根据实际情况调整。相关问题：§§相关问题§§1.昇腾910B平台支持哪些多模态大模型部署？2.如何将PyTorch模型转换为昇腾支持的OM模型？3.在昇腾平台上部署Qwen2.5-VL模型时如何处理图像输入？4.昇腾平台有哪些工具可以优化大模型推理性能？</think>### 昇腾910B平台部署Qwen2.5-VL模型指南 #### **一、环境准备** 1. **硬件要求** - 昇腾910B NPU芯片（建议内存≥32GB） - ARM架构服务器（如鲲鹏920） 2. **基础环境安装** 按顺序安装以下组件（需root权限）： ```bash # 驱动与固件 ./Ascend-hdk-910b-npu-driver_24.1.rc3_linux-aarch64.run ./Ascend-hdk-910b-npu-firmware_7.5.0.1.129.run # CANN工具包与内核 ./Ascend-cann-toolkit_8.0.RC3.alpha003_linux-aarch64.run ./Ascend-cann-kernels-910b_8.0.RC3.alpha003_linux-aarch64.run ``` 验证安装：`npu-smi info` 查看设备状态[^2]。 --- #### **二、模型获取** 1. **下载Qwen2.5-VL模型** ```bash mkdir Qwen2.5-VL && cd Qwen2.5-VL modelscope download --model Qwen/Qwen2.5-VL-7B --local_dir ./ ``` 目录结构示例： ``` Qwen2.5-VL/ ├── config.json ├── model.safetensors └── tokenizer.json ``` --- #### **三、模型转换（PyTorch → OM）** 1. **导出ONNX模型** 使用昇腾提供的转换工具： ```bash source /usr/local/Ascend/ascend-toolkit/set_env.sh atc --framework=5 --model=qwen2.5_vl.onnx \ --output=qwen2.5_vl_om \ --input_format=ND \ --soc_version=Ascend910B ``` > **注意**：需先通过`torch.onnx.export`将模型转为ONNX格式，确保包含多模态输入处理层。 2. **关键参数说明** - `--framework=5`：ONNX模型输入 - `--soc_version=Ascend910B`：指定芯片型号 - `--input_shape`：需根据模型输入动态设置（如`image:[1,3,448,448], text:[1,128]`） --- #### **四、部署推理** 1. **使用MindSpore Lite推理** ```python from mindspore_lite import Model import numpy as np # 加载OM模型 model = Model() model.load_from_file("qwen2.5_vl_om.om") # 多模态输入处理 image_input = preprocess_image("image.jpg") # 尺寸调整为448x448 text_input = tokenizer.encode("描述图片内容") # 执行推理 outputs = model.predict([image_input, text_input]) print(tokenizer.decode(outputs[0])) ``` 2. **多模态处理要点**： - 图像需归一化并转换为`float32`格式 - 文本需通过tokenizer转换为token ID序列 - 使用`np.ascontiguousarray()`确保内存连续 --- #### **五、性能优化建议** 1. **动态分片推理** 修改`config.json`启用Tensor Parallelism： ```json "parallel_config": { "pipeline_stage": 1, "tensor_parallel": 2 // 根据NPU数量调整 } ``` 2. **量化加速** 使用昇腾AMCT工具进行INT8量化： ```bash amct_onnx calibration --model qwen2.5_vl.onnx \ --output_dir quant_out \ --data_type "float32" ``` --- #### **常见问题排查** - **算子不支持**：更新CANN至最新版，使用[昇腾算子库](https://www.hiascend.com/developer/operator) - **内存不足**：启用`--enable_small_chunk`减少显存碎片 - **多模态对齐错误**：检查图像预处理与模型训练配置是否一致（如`resize_method`）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值