deepseek R1 本地部署全过程

注意事项

建议使用 NVIDIA 卡,体验会好不少,AMD 显卡未做测试,但应该也是能跑的

欢迎各位在本文档评论区反馈各自运行情况,这样可以帮到更多人

LM Studio

官网下载:https://lmstudio.ai/

模型列表

请选择文件体积小于自己显存大小的模型,略大一些的虽然也能跑,但是速度会慢很多。因个人能力有限,以下模型推荐不一定是最好的

更多模型下载

  链接1:https://www.modelscope.cn/organization/lmstudio-community

  记得用搜索功能搜索 DeepSeek 相关模型

  链接2:https://www.modelscope.cn/collections/DeepSeek-R1-Distill-GGUF-eec5fee2f2ee42

  相比链接1会多一点不同量化精度的模型

显存大小

推荐模型

32GB

DeepSeek-R1-Distill-Qwen-32B-Q6_K.gguf

24GB

DeepSeek-R1-Distill-Qwen

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值