鲲鹏+昇腾部署DeepSeek-R1-Distill-Qwen-32B+Open-webui【信创国产化】（详细存档版）

原创 已于 2025-08-26 11:10:12 修改 · 5.5k 阅读 · 30 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#ai #人工智能 #deepseek

于 2025-02-15 15:55:38 首次发布

参考文章：https://blog.youkuaiyun.com/taogumo/article/details/141932072
https://www.hiascend.com/software/modelzoo/models/detail/ed4a8911f1a74613a82dc50b1661208c
服务器配置：鲲鹏2920+1Atlas 300 I duo，内存128GB

1.前期准备

参考我之前部署Qwen-7b的文章：
鲲鹏服务器+昇腾卡（Atlas 300I pro）搭建DeepSeek-R1-Distill-Qwen-7B（自己存档详细版）
mindie:1.0.0-300I-Duo-py311-openeuler24.03-lts以及其他mindie镜像下载列表【昇腾社区】
模型下载：https://www.modelscope.cn/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B/files
感谢魔塔社区，昇腾社区，魔乐社区！

2.部署

下载启动open-webui

sudo docker run -d \
  -p
最低0.47元/天 解锁文章
华为显卡部署DeepSeek-R1-Distill-Qwen-32B记录
weixin_43959376的博客
02-10 6181
DeepSeek 蒸馏模型 Qwen32B 在华为昇腾 Atlas 300I DUO上的部署记录（踩坑过程）
【通过pip安装 Open-WebUI 快速使用入门】
weixin_43794223的博客
02-08 4941
这种安装方法使用单个容器映像，将Open WebUI与Ollama捆绑在一起，允许通过单个命令简化设置。此方法安装所有必要的依赖项并启动Open WebUI，从而实现简单高效的设置。这两个命令都可以方便地安装Open WebUI和Ollama，确保您可以快速启动和运行一切。使用它在您自己的风险，因为它可能有错误或不完整的功能。如果你想尝试最新的前沿特性，并且对偶尔的不稳定性没有意见，你可以像这样使用。，运行Open WebUI就是轻而易举的事。与您的容器名称不同，请将其替换为您的容器名称。
鲲鹏+昇腾+DeepSeek AI部署实验手册（可离线！！！可离线！！！可离线！！！）
m0_52834363的博客
09-01 1479
鲲鹏+昇腾+DeepSeek AI部署实验手册（可离线！！！可离线！！！可离线！！！）
昇腾NPU模型迁移指南：从GPU到昇腾部署openPangu-Embedded-1B-V1.1
最新发布
gitblog_00312的博客
09-14 711
在嵌入式设备部署大语言模型时，开发者常面临三大核心挑战：GPU到昇腾NPU（神经网络处理器，Neural Processing Unit）的架构差异导致性能损失、量化精度与推理速度的平衡难题、以及昇腾特有API的适配复杂性。本指南基于昇腾原生开源项目openPangu-Embedded-1B-V1.1，提供一套完整的迁移方案，使模型在Atlas 800T A2等昇腾设备上实现95%+的精度保留率与...
在昇腾GPU上部署DeepSeek大模型与OpenWebUI：从零到生产的完整指南
weixin_45631123的博客
03-08 3321
随着国产AI芯片的快速发展，昇腾（Ascend）系列GPU凭借其高性能和兼容性，逐渐成为大模型部署的重要选择。本文将以昇腾300i为例，手把手教你如何部署DeepSeek大模型，并搭配OpenWebUI构建交互式界面。无论你是AI开发者还是企业运维，都能通过本文快速搭建生产级AI服务。通过本文，你已成功在昇腾GPU上构建了从模型推理到Web交互的完整链路。随着昇腾生态的不断完善，国产AI芯片正在为开发者打开新的可能性。希望这篇指南能为你的AI应用部署提供实用参考！如有疑问，欢迎在评论区交流讨论。
GPUStack昇腾Atlas300I duo部署模型DeepSeek-R1【GPUStack实战篇2】
mizhiakk的博客
04-27 3790
鲲鹏+GPUStack昇腾Atlas300I duo部署模型DeepSeek-R1【GPUStack实战篇2】
昇腾910b部署qwen-7b-chat进行流式输出【pytorch框架】NPU推理
懒惰是科技进步的原始动力
01-10 8413
解决报错'torch_npu._C._NPUDeviceProperties' object has no attribute 'major' 解决报错call aclnnEmbedding failed, detail:EZ1001: weight not implemented for DT_BFLOAT16, should be in dtype support list [DT_DOUBLE,DT_FLOAT,DT_FLOAT16,DT_INT64,DT_INT32,DT_INT16,DT_INT8
DeepSeek模型昇腾部署优秀实践
2401_87243659的博客
02-27 2329
2024年12月26日，DeepSeek-V3横空出世，以其卓越性能备受瞩目。该模型发布即支持昇腾，用户可在昇腾硬件和MindIE推理引擎上实现高效推理，但在实际操作中，部署流程与常见问题困扰着不少开发者。本文将为你详细阐述昇腾 DeepSeek 模型部署的优秀实践。
在华为昇腾 910B 上进行阿里大模型 Qwen2.5 推理
2301_78285120的博客
11-03 7075
异构 GPU 支持：支持异构 GPU 资源，当前支持 Nvidia、Apple Metal、华为昇腾和摩尔线程等各种类型的 GPU/NPU多推理后端支持：支持vLLM和推理后端，兼顾生产性能需求与多平台兼容性需求多平台支持：支持 Linux、Windows 和 macOS 平台，覆盖 amd64 和 arm64 架构多模型类型支持：支持 LLM 文本模型、VLM 多模态模型、Embedding 文本嵌入模型 和 Reranker 重排序模型等各种类型的模型多模型仓库支持。
DeepSeek大模型的DeepSeek-R1-Distill-Qwen-1.5B-GGUF版本，2025.2.6最新版的安装包OllamaSetup.exe
02-07
DeepSeek-R1-Distill-Qwen-1.5B-GGUF版本是DeepSeek大模型的一个重要迭代，它在原有的基础上进行了模型压缩与优化，使其在保持模型效能的同时，更加轻量化，适用于更多实际应用场景。 所谓模型压缩，是指通过特定的...
基于200万条医疗数据对DeepSeek-R1-Distill-Qwen-32B进行fine tune且部署.zip
05-15
本文将围绕如何使用200万条医疗数据对DeepSeek-R1-Distill-Qwen-32B模型进行微调（fine tune）以及部署的详细步骤展开介绍。首先，对于模型微调的概念做一个简要的说明：模型微调是在预训练模型的基础上，通过在特定...
DeepSeek-R1工具V1.0-36.5G网盘链接下载.txt
02-11
DeepSeek-R1工具V1.0的主要优势在于它已经预置了从1.5b到32b的多种模型，这些模型覆盖了不同复杂度和应用需求，为用户提供了丰富的选择，以满足各种深度学习任务。 对于想要尝试深度学习模型而不想从零开始搭建环境...
DeepSeek-R1-Distill-Qwen-1.5B-Q8-0.gguf（第一部分）
02-14
在本例中提到的“DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf”文件是一个GGUF格式的文件，它代表了一个经过精简和优化的模型版本。这个文件特别标注为Q8_0量化版本，意味着它在保证模型性能的同时，还通过量化技术...
昇腾DeepSeek模型部署优秀实践及FAQ
GZ_TOGOGO的博客
02-19 2417
2024年12月26日，DeepSeek-V3横空出世，以其卓越性能备受瞩目。该模型发布即支持昇腾，用户可在昇腾硬件和MindIE推理引擎上实现高效推理，但在实际操作中，部署流程与常见问题困扰着不少开发者。本文将为你详细阐述昇腾 DeepSeek 模型部署的优秀实践，同时解答常见问题。推荐参考配置如下，部署DeepSeek-V3/R1量化模型至少需要多节点Atlas 800I A2（8*64G）服务器。
鲲鹏920服务器部署deepseek操作说明
无知的我
02-21 2865
如今deepseek全球大热，由于其开源免费，各大公司都在部署deepseek，于是我也尝试在公司鲲鹏920服务器上部署deepseek进行验证，由于鲲鹏920服务器没有显卡，只能算是尝试。首先下载ollama，网上一般都是直接联网下载并安装，用下面脚本一次搞定 不过ollama服务器在国外，下载经常不稳定，上述方法可能耗时很长，可以先下载ollma安装包，手动安装下载地址：https://github.com/ollama/ollama/releases选择arm64版本的下载下载到系统后，用下面命令
LLM实践系列-昇腾910B上进行Qwen2.5推理
xx_nm98的博客
11-03 8762
异构 GPU 支持：支持异构 GPU 资源，当前支持 Nvidia、Apple Metal、华为昇腾和摩尔线程等各种类型的 GPU/NPU多推理后端支持：支持vLLM和推理后端，兼顾生产性能需求与多平台兼容性需求多平台支持：支持 Linux、Windows 和 macOS 平台，覆盖 amd64 和 arm64 架构多模型类型支持：支持 LLM 文本模型、VLM 多模态模型、Embedding 文本嵌入模型 和 Reranker 重排序模型等各种类型的模型多模型仓库支持。
语言模型deepseek部署到华为昇腾NPU的详细步骤
热门推荐
qq_54958500的博客
12-12 2万+
DeepSeek 是一个高性能的混合专家（MoE）语言模型，能够生成高质量的文本内容，解决自然语言处理任务。它在文本生成、对话系统、情感分析和机器翻译等应用场景中表现出色，显著提升处理效率和生成质量。
全网唯一！手把手教你 DeepSeek-R1-Distill-Qwen-32B 云端部署 + Dify 配置全攻略
star_nwe的博客
02-21 5419
Deepseek最近太火了，关于 Deepseek 的文章虽多，但大多局限于 Ollama 部署 Deepseek 这类“玩具”场景，难以满足企业级应用的复杂需求。这些低质量内容往往缺乏深度与实用性，对于追求高效、稳定解决方案的企业而言，犹如隔靴搔痒。而我们的专业团队，始终关注行业前沿动态，凭借对技术趋势的精准把握和深厚的技术积累，迅速捕捉到企业在 Deepseek 应用中的痛点与需求。在极短的时间内，精心打造出这篇文章。
鲲鹏服务器+昇腾卡（Atlas 300I pro）搭建DeepSeek-R1-Distill-Qwen-7B（自己存档详细版）
mizhiakk的博客
02-13 1万+
鲲鹏服务器+昇腾卡（Atlas 300I pro）搭建DeepSeek-R1-Distill-Qwen-7B（自己存档详细版）
鲲鹏+昇腾部署DeepSeek-R1-Distill-Qwen-32B+webui
02-24
### 部署环境准备 为了在鲲鹏和昇腾平台上成功部署 DeepSeek-R1-Distill-Qwen-32B 模型并集成 WebUI，需先准备好相应的软件包和支持库。确保操作系统已安装 Python 3.x 版本以及 pip 工具。对于特定硬件的支持，需要安装 NPU 的驱动程序与 CANN (Compute Architecture for Neural Networks) SDK 来适配昇腾处理器[^1]。 ### 安装依赖项 通过命令行工具更新系统包管理器，并安装必要的 Python 库来支持模型加载和服务启动： ```bash pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cpu pip install transformers sentencepiece gradio flask ``` 上述命令会安装 PyTorch 及其扩展模块、Hugging Face Transformers 库用于处理预训练语言模型、SentencePiece 进行分词操作以及 Gradio 和 Flask 构建简易的 Web UI 接口。 ### 下载模型文件 前往 ModelScope 平台获取目标模型权重文件 `DeepSeek-R1-Distill-Qwen-32B` ，并将之放置于项目根目录下或指定路径内以便后续调用。 ### 编写服务脚本 创建一个新的 Python 文件作为入口点，在其中定义好 API 路由逻辑并与前端页面交互展示推理结果。下面是一个简单的例子说明如何实现这一功能： ```python from transformers import AutoModelForCausalLM, AutoTokenizer import torch import gradio as gr tokenizer = AutoTokenizer.from_pretrained("path/to/model") model = AutoModelForCausalLM.from_pretrained("path/to/model") def predict(text_input): inputs = tokenizer.encode_plus( text_input, add_special_tokens=True, return_tensors="pt" ) with torch.no_grad(): outputs = model.generate(**inputs) response = tokenizer.decode(outputs[0], skip_special_tokens=True) return response iface = gr.Interface(fn=predict, inputs='text', outputs='text') if __name__ == "__main__": iface.launch() ``` 此段代码实现了基于 Transformer 结构的语言生成任务接口，利用 Gradio 提供了一个简洁易用的文字输入框让用户提交待预测文本串，并返回经过 Qwen 大规模对话理解能力加工后的回复内容。 ### 启动应用 完成以上配置之后就可以运行该应用程序了。打开终端窗口进入包含 main.py 的工作空间执行 python 命令即可开启 HTTP Server 监听来自浏览器端发起请求的服务实例。
评论 37
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值