xiezhipu的博客

这两天没少折腾deepseek-r1。之前在A100上用ollama部署了一份DeepSeek-R1-Distill-Qwen-32B，感觉真的特别慢。现在，再用昇腾部署一遍，看看速度能不能更快。p.s. 类似的内容其实已经写了很多遍了。但感觉之前写得都太碎，不够顺畅。接着新模型写篇长文，把能包括的都包括进来。这样大家也不需要到处翻来翻去。

一直想部署一个多模态大模型，今天就以Qwen2-vl为例尝试一番吧。（当然是在昇腾环境下）提示：需要把这篇文章先看一遍昇腾，mindie，镜像，部署vllm：第2篇，启动mindieservice_daemon服务，支持对Qwen2.5的7B版本的推理提示：本文章的撰写思路是，按照一个思路进行部署，报错，并反思，并解决。所以不太适合直接上来就跟着一步一步做。建议看完全文，再根据自己的理解做。

在之前的版本中，我们提到了一个帮助文档（Readme），这个文档告诉我们，当时的mindie版本不支持0.5b版本的通义千问2.5我现在就很好奇，新版的mindie，是否支持0.5b的版本呢？

这是咱这个系列的第三个文章了。毕竟，这是我好几天摸索出的经验，能帮助各位在几个小时内领会，我觉得也算是我的功劳一件了。所以，一是希望大家耐心看下去，耐心操作下去；制作不易，多谢大家了。华为NPU服务器昇腾Ascend 910B2部署通义千问Qwen2.5——基于mindie镜像一路试错版（一）华为NPU服务器昇腾Ascend 910B2部署通义千问Qwen2.5——基于mindie镜像一路试错版（二）

我们在上一篇文章华为NPU服务器昇腾Ascend 910B2部署通义千问Qwen2.5——基于mindie镜像一路试错版（一）中，介绍了一些准备工作。我估计这些东西下载好还是需要一点时间的，如果你幸运地通过了这些考验，还想继续的话，就来看看这一篇吧。在本篇文章中，我们继续深入探讨了如何在华为NPU服务器昇腾Ascend 910B2上部署通义千问Qwen2.5模型。

NPU（Neural Processing Unit，神经网络处理单元）是一种专门设计用于加速机器学习尤其是深度学习算法的硬件处理器。随着人工智能技术的发展，特别是深度学习模型变得越来越复杂和庞大，传统的CPU和GPU在处理这些任务时遇到了效率和能耗上的瓶颈。因此，针对深度学习算法的特点优化的专用芯片——NPU应运而生。NPU的核心优势在于它能够高效地执行矩阵运算、卷积操作等深度学习中的基本计算任务。这使得NPU可以在图像识别、语音识别、自然语言处理等领域提供比传统处理器更高的性能和更低的功耗。

上一篇，咱们顺利启动了mindie的官方镜像，用上了1.0.0目前我们所在的位置在gitee的一个文档上，我们跟着官网继续后面的步骤。当前文档希望咱能踩到几个坑哈，这样咱的文章才有意义。

之前写了一堆介绍怎么在昇腾上部署qwen2.5的尝试。mindie发现人家发布了新版本。而且，之前版本的文档竟然直接删掉了。所以，没办法，重新写一遍吧。按理说，按照官网来应该问题不大，但是，谁知道呢，对吧。老规矩，咱先在权限申请这里申请权限。没有特殊情况的话，咱选这个👆按照官网提示，拉一下镜像，这个问题应该不大。