在昇腾Ascend 910B上运行Qwen2.5推理

目前在国产 AI 芯片，例如昇腾 NPU 上运行大模型是一项广泛且迫切的需求，然而当前的生态还远未成熟。从底层芯片的算力性能、计算架构的算子优化，到上层推理框架对各种模型的支持及推理加速，仍有很多需要完善的地方。

今天带来一篇在昇腾 910B 上运行 Qwen 2.5 执行推理的操作实践。

配置昇腾环境

在昇腾 NPU 服务器上，确认昇腾 NPU 驱动已安装：

npu-smi info

根据架构下载对应的 CANN Toolkit 包（开发套件）和对应芯片的 Kernel 包（CANN 算子） https://www.hiascend.com/zh/software/cann/community-history：

wget https://ascend-repo.obs.cn-east-2.myhuaweicloud.com/Milan-ASL/Milan-ASL%20V100R001C19SPC703/Ascend-cann-toolkit_8.0.RC3.alpha003_linux-aarch64.run
wget https://ascend-repo.obs.cn-east-2.myhuaweicloud.com/Milan-ASL/Milan-ASL%20V100R001C19SPC703/Ascend-cann-kernels-910b_8.0.RC3.alpha003_linux-aarch64.run

安装 Toolkit，按提示操作：

sudo sed -i 's/user=true/user=false/' ~/.pip/pip.conf
sudo chmod +x Ascend-cann-toolkit_8.0.RC3.alpha003_linux-aarch64.run && sudo ./Ascend-cann-toolkit_8.0.RC3.alpha003_linux-aarch64.run --install --install-for-all

安装 Kernel，按提示操作：

sudo chmod +x Ascend-cann-kernels-910b_8.0.RC3.alpha003_linux-aarch64.run && sudo ./Ascend-cann-kernels-910b_8.0.RC3.alpha003_linux-aarch64.run --install --install-for-all

配置环境变量：

sudo echo "source /usr/local/Ascend/ascend-toolkit/set_env.sh" >> /etc/profile
source /usr/local/Ascend/ascend-toolkit/set_env.sh

昇腾环境已经配置完成，接下来准备运行 Qwen 2.5 模型的私有大模型服务平台。

安装 GPUStack

GPUStack 是一个开源的大模型即服务平台，支持 Nvidia、Apple Metal、华为昇腾和摩尔线程等各种类型的 GPU/NPU，可以在昇腾 910B 上运行包括 Qwen 2.5 在内的各种大模型，安装步骤如下。

通过以下命令在昇腾 NPU 服务器上在线安装 GPUStack，在安装过程中需要输入 sudo