玩转大语言模型——使用华为官方MindIE-Server镜像方式部署DeepSeek模型

已于 2025-04-06 17:52:19 修改
阅读量603 收藏 3
点赞数 3
CC 4.0 BY-SA版权
分类专栏： 玩转大语言模型 文章标签： linux 语言模型 服务器 人工智能 自然语言处理
于 2025-04-04 18:31:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/DuLNode/article/details/146204087

系列文章目录

玩转大语言模型——使用langchain和Ollama本地部署大语言模型
玩转大语言模型——三分钟教你用langchain+提示词工程获得猫娘女友
玩转大语言模型——ollama导入huggingface下载的模型
玩转大语言模型——langchain调用ollama视觉多模态语言模型
玩转大语言模型——使用transformers中的pipeline调用huggingface中模型
玩转大语言模型——transformers微调huggingface格式的中文Bert模型
玩转大语言模型——使用GraphRAG+Ollama构建知识图谱
玩转大语言模型——完美解决GraphRAG构建的知识图谱全为英文的问题
玩转大语言模型——配置图数据库Neo4j（含apoc插件）并导入GraphRAG生成的知识图谱
玩转大语言模型——本地部署带聊天界面deepseek R1的小白教程
玩转大语言模型——本地部署deepseek R1和本地数据库的小白教程(Ollama+AnythingLLM)
玩转大语言模型——使用LM Studio在本地部署deepseek R1的零基础）教程
玩转大语言模型——Ubuntu系统环境下使用llama.cpp进行CPU与GPU混合推理deepseek

了解本专栏 订阅专栏 解锁全文 超级会员免费看
华为昇腾MindIE+Dify本地私有化部署大模型 经验分享
Yingjie_Zhang666的博客
02-14 4613
本文旨在分享使用华为昇腾MindIE（Mind Inference Engine，昇腾推理引擎）结合Dify（大模型应用开发平台）成功部署通义千问和deepseek等大语言模型，并上线问答助手等应用的经验，同时也是对自己前段时间的工作进行一个总结。我会分享我在项目过程中踩过的坑，遇到的bug，以及实测解决的方法。目前计划分为6篇文章，系列文章持续更新中。本篇文章是系列文章的目录，也是我在项目过程中自行搜罗到的实用资源分享，包括了镜像下载链接、模型下载链接，以及华为昇腾官方的模型部署教程。
华为NPU服务器昇腾Ascend 910B2部署通义千问Qwen2.5——基于mindie镜像一路试错版（一）
xiezhipu的博客
12-03 4941
NPU（Neural Processing Unit，神经网络处理单元）是一种专门设计用于加速机器学习尤其是深度学习算法的硬件处理器。随着人工智能技术的发展，特别是深度学习模型变得越来越复杂和庞大，传统的CPU和GPU在处理这些任务时遇到了效率和能耗上的瓶颈。因此，针对深度学习算法的特点优化的专用芯片——NPU应运而生。NPU的核心优势在于它能够高效地执行矩阵运算、卷积操作等深度学习中的基本计算任务。这使得NPU可以在图像识别、语音识别、自然语言处理等领域提供比传统处理器更高的性能和更低的功耗。
MindIE 单机部署指南
最新发布
adasdfadsa的博客
05-11 1120
基于昇腾 MindIE 部署大预言模型
基于mindie部署满血DeepSeek-R1 671B
qq_73797346的博客
02-24 4054
设置的环境变量参考：https://gitee.com/ascend/ModelZoo-PyTorch/tree/master/MindIE/LLM/DeepSeek/DeepSeek-R1。在容器内的/usr/local/Ascend/mindie/2.0.T3/mindie-service/conf/config.json ，master的IP必须统一为ds-3节点的IP。国外下载地址：https://huggingface.co/deepseek-ai/DeepSeek-R1/tree/main。
mindie:1.0.0-300I-Duo-py311-openeuler24.03-lts以及其他mindie镜像下载列表【昇腾社区】
mizhiakk的博客
03-01 3545
mindie:1.0.0-300I-Duo-py311-openeuler24.03-lts以及其他mindie镜像下载列表
华为显卡部署DeepSeek-R1-Distill-Qwen-32B记录
weixin_43959376的博客
02-10 5040
DeepSeek 蒸馏模型 Qwen32B 在华为昇腾 Atlas 300I DUO上的部署记录（踩坑过程）
MindIE部署流程
Yingjie_Zhang666的博客
02-21 2874
本篇文章是《华为昇腾MindIE+Dify本地私有化部署大模型 经验分享》系列文章的第一篇，讲述了如何部署华为昇腾MindIE（Mind Inference Engine，昇腾推理引擎），作为大模型本地私有化部署的后端管理平台。下一篇将会分享Dify的部署流程，系列文章持续更新中。
超超超详细分享！！Dify本地化部署流程和使用说明 以及如何接入华为昇腾MindIE本地私有化部署的大模型
Yingjie_Zhang666的博客
03-06 3722
本文是《华为昇腾MindIE+Dify本地私有化部署大模型 经验分享》系列文章的第二篇。图文并茂地超详细分享了本地化部署Dify和使用API接入在线、本地大模型、MindIE本地化部署的大模型的经验。本教程适用于有网络快速部署的环境，以及完全封闭的无网络生产环境。
还不会构建MindIE镜像？一篇文章搞定
小白菜的博客
03-06 1448
用于构建多平台/架构的 MindiE 镜像的脚本。用户可以根据需要准备好所需的软件包，修改相关配置并构建镜像。
昇腾大模型推理解决方案MindIE部署
深蓝
09-20 1万+
昇腾大模型推理解决方案MindIE部署笔记，并且分享给大家
昇腾环境下使用docker部署mindie-service
yuanlulu的博客
07-08 4837
MindIE是基于昇腾硬件的运行加速、调试调优、快速迁移部署的高性能深度学习推理框架。它包含了MindIE-Service、MindIE-Torch和MindIE-RT等组件。我主要用MindIE-Service的功能，这个组件对标的是vllm这样的大语言推理框架。
华为昇腾MindIE部署DeepSeek-Distill大模型和Qwen-VL多模态大模型
CV小星的博客
04-10 1279
华为MindIE部署DeepSeek Distill大模型、Qwen-VL多模态大模型。
国产化推理引擎实现通义千问推理加速
qq_36344652的博客
07-30 1518
根据MindIE实现Qwen推理加速的部署经验，分享给需要的人
MindIE Service服务化集成部署通义千问Qwen模型
qq_36344652的博客
07-30 3745
在基于MindIE实现千问Qwen推理加速后，继续研究了MindIE Service，将部署经验分享给需要的人
华为NPU服务器昇腾Ascend 910B2部署通义千问Qwen2.5——基于mindie镜像一路试错版（三）
xiezhipu的博客
12-04 3253
这是咱这个系列的第三个文章了。毕竟，这是我好几天摸索出的经验，能帮助各位在几个小时内领会，我觉得也算是我的功劳一件了。所以，一是希望大家耐心看下去，耐心操作下去；制作不易，多谢大家了。华为NPU服务器昇腾Ascend 910B2部署通义千问Qwen2.5——基于mindie镜像一路试错版（一）华为NPU服务器昇腾Ascend 910B2部署通义千问Qwen2.5——基于mindie镜像一路试错版（二）
昇腾，Ascend，NPU，mindie，镜像，部署vllm：第4篇，尝试多模态大模型部署（Qwen2-vl）
xiezhipu的博客
02-10 2079
一直想部署一个多模态大模型，今天就以Qwen2-vl为例尝试一番吧。（当然是在昇腾环境下）提示：需要把这篇文章先看一遍昇腾，mindie，镜像，部署vllm：第2篇，启动mindieservice_daemon服务，支持对Qwen2.5的7B版本的推理提示：本文章的撰写思路是，按照一个思路进行部署，报错，并反思，并解决。所以不太适合直接上来就跟着一步一步做。建议看完全文，再根据自己的理解做。
华为Atlas Duo 300I DUO推理卡 部署LLM推理服务
热门推荐
weixin_37447415的博客
10-29 1万+
本文是在Atlas Duo 300I 推理卡上部署LLM推理服务的一次尝试，完整的安装文档参考。安装过程中遇到问题可以在社区提问，目前该推理卡对新模型的支持不是太好，且实测下来性能不及3090（吐槽：显存虚报，标记48GB实际只有44GB；算力140TFLOAPS，但推理速度只有3090的1/3）。如果用于大模型训练或推理，直接使用910。安装的流程为：step1：安装驱动和固件step2：安装cannstep3：安装mindIE由于物理安装比较麻烦，官方提供了。
MindIE Service整体介绍&快速上手
cc_beolus的博客
01-03 2670
MindIE Service是面向通用模型场景的推理服务化框架，通过开放、可扩展的推理服务化平台架构提供推理服务化能力，支持对接业界主流推理框架接口，满足大语言模型的高性能推理需求。
【AI】关于模型部署方案MindIE Server和vllm
hknaruto的专栏
05-07 1002
MindIE Server 和 vLLM 都是面向大语言模型（LLM）推理部署的高性能工具，但它们的定位、技术路线和适用场景存在显著差异。使用昇腾 AI 编译器（CANN）生成高度定制化的计算图，实现算子融合和内存零拷贝。支持模型切分部署到边缘设备（如 Atlas 500），适应低带宽环境。自动合并不同长度的请求，提升 GPU 利用率（典型提升 30%+）。内置模型加密和可信执行环境（TEE）支持，满足企业级安全需求。：正在扩展对 NPU 的支持（试验性支持昇腾/寒武纪）部署华为系大模型（如 PanGu）
华为torch镜像
03-10
<think>好的，我现在需要回答用户关于查找华为提供的PyTorch相关镜像的问题。首先，用户提到他们参考的引用中有关于华为NPU服务器和昇腾Ascend镜像的信息，特别是引用[2]和[4]。用户现在想查找华为PyTorch的镜像仓库，所以我要先确认华为是否有官方的PyTorch镜像。 首先，引用[2]提到一个SWR_URL：“swr.cn-north-4.myhuaweicloud.com/deep-learning/pytorch:1.8.1-cuda11.1”，这应该是华为云容器镜像服务(SWR)中的一个PyTorch镜像。用户可能需要访问华为云SWR来查找更多版本。另外，引用[4]提到昇腾社区提供的mindie镜像，但用户的问题是关于PyTorch的，所以可能需要区分昇腾和通用GPU镜像。 接下来，我需要引导用户如何访问华为云SWR，可能包括直接访问镜像仓库的网址，比如华为云SWR控制台，然后进入对应的命名空间，比如deep-learning，找到PyTorch相关镜像。同时，用户可能还需要了解如何拉取这些镜像，使用docker pull或者singularity的命令，如singularity pull。 另外，需要注意华为的PyTorch镜像可能针对不同的硬件优化，比如昇腾芯片（如Ascend 910B）的镜像和CUDA版本的镜像。如果用户使用的是昇腾硬件，可能需要特定的镜像，如引用[4]中的mindie镜像，但PyTorch的昇腾支持可能需要确认是否有官方镜像。 还需要提醒用户检查镜像的标签，选择适合的版本，例如PyTorch版本、CUDA版本或Ascend版本。同时，华为云文档和昇腾社区是重要的资源，用户应该参考官方文档获取最新信息。 总结步骤应该是： 1. 访问华为云SWR镜像仓库，搜索PyTorch镜像。 2. 查看命名空间如deep-learning下的镜像。 3. 根据需求选择CUDA或昇腾版本。 4. 使用docker或singularity拉取镜像。 5. 参考官方文档和社区资源获取帮助。</think>根据华为云提供的容器镜像服务（SWR），您可以通过以下步骤查找PyTorch相关镜像： ### 1. **访问华为云容器镜像仓库** - 华为云SWR镜像仓库地址：https://console.huaweicloud.com/swr/ - 在控制台中，搜索关键词`pytorch`或进入**“镜像中心”**，选择**“深度学习”**或**“AI引擎”**分类，筛选PyTorch相关镜像[^2][^4]。 ### 2. **官方PyTorch镜像示例** 华为云提供了预置的PyTorch镜像，例如： ```bash swr.cn-north-4.myhuaweicloud.com/deep-learning/pytorch:1.8.1-cuda11.1 ``` 该镜像包含PyTorch 1.8.1和CUDA 11.1，适用于GPU加速场景。 ### 3. **针对昇腾（Ascend）芯片的镜像** 若使用华为昇腾NPU（如Ascend 910B），需选择适配昇腾的镜像。例如昇腾社区提供的`mindie`镜像，可能包含PyTorch对NPU的支持： ```bash swr.cn-south-1.myhuaweicloud.com/mindie/<镜像标签> ``` 具体标签需参考昇腾社区文档。 ### 4. **拉取镜像的方式** - **使用Docker**： ```bash docker pull swr.cn-north-4.myhuaweicloud.com/deep-learning/pytorch:1.8.1-cuda11.1 ``` - **使用Singularity**： ```bash singularity pull pytorch.sif docker://swr.cn-north-4.myhuaweicloud.com/deep-learning/pytorch:1.8.1-cuda11.1 ``` 构建完成后，可通过`singularity exec`运行PyTorch程序[^3]。 ### 5. **验证镜像** 运行简单测试（以Singularity为例）： ```bash singularity exec pytorch.sif python3 -c "import torch; print(torch.__version__)" ``` 输出应为镜像中PyTorch的版本号（如`1.8.1`）[^1]。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

艾醒(AiXing-w)

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值