鲲鹏+昇腾部署DeepSeek-R1-Distill-Qwen-32B+Open-webui【信创国产化】(详细存档版)

参考文章:https://blog.youkuaiyun.com/taogumo/article/details/141932072
https://www.hiascend.com/software/modelzoo/models/detail/ed4a8911f1a74613a82dc50b1661208c
服务器配置:鲲鹏2920+1Atlas 300 I duo,内存128GB

1.前期准备

参考我之前部署Qwen-7b的文章:
鲲鹏服务器+昇腾卡(Atlas 300I pro)搭建DeepSeek-R1-Distill-Qwen-7B(自己存档详细版)
mindie:1.0.0-300I-Duo-py311-openeuler24.03-lts以及其他mindie镜像下载列表【昇腾社区】
模型下载:https://www.modelscope.cn/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B/files
感谢魔塔社区,昇腾社区,魔乐社区!

2.部署

下载启动open-webui

sudo docker run -d \
  -p 
评论 37
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值