小白1分钟本地部署DeepSeek保姆级教程

部署运行你感兴趣的模型镜像

本文来自于 风哥

DeepSeek在这几年期间火爆全球,相信大家都刷到了类似的新闻或者视频,个人使用感觉希望聊天功能更好一些,费掉翻墙,而且支持本地化部署,保护个人隐私,可以制作更相关的模型(你懂的)。

当然也可以把本地的模型训练成已故亲和他/她聊天,模型会以自己的亲人的语气和你文字化交流。另外也可以接入训练人声进行语音聊天,目前好的确实有人可以,不一一举例。

本地部署

废话不多说,直接上教程~ DeepSeek可以在Windows和MacOS上进行部署,这里以MacOS为例进行演示,先打开ollama官网欧拉玛,如下所示,选择自己的操作系统下载即可,这里以mac为例,Windows安装步骤完全一致。

1.下载ollama

編輯

下载一个压缩包,解压后拖入到应用程序中即可,会在状态栏显示一只羊驼

編輯

​​​​​​​​

編輯​​​​​​​​

​​​​​​​​

編輯

2.配置deepseek

命令行窗口,Windows的小伙伴请使用cmd,mac的小伙伴请使用终端,在命令行中输入“ollama”,如果可以出现如下内容,表示ollama安装成功,附带一提,ollama使用起来和docker很像,用过docker的小伙伴打开会很方便。

​​​​​​​​编辑​​​​​​​​

在ollama官网搜索deepseek,进入后自己想要的模型,个人推荐4090的小伙伴可以使用32b,魔改的48g4090使用70b无压力可以;本人为MacbookPro-M2-MAX-96g,使用32b的模型无压力,如果硬件配置比较低,那么使用14b或者8b的即可:

​​​​​​​​​​​​​​编辑​​​​​​​​

Windows的小配件主要看显存,下面已经附上配件参考:

  • 1.5b:不需要显存

  • 7b:8G显存

  • 8b:8G显存

  • 14b:16G显存

  • 32b:24G显存,RTX4090

  • 70b:48G显存魔改4090(或单卡4090外加共享显存,会卡顿)

  • 671b:480G显存,满血DeepSeek,土豪级别的小伙伴,购买10张4090没应该问题~

我以8b为例,点击红色箭头的复制按钮,这里把蘑菇脚本复制到命令行:

​​​​​​​​

編輯

复制到命令行按回车进行下载:

图片

編輯

8b比较小,很快能下好,我之前的32b下载了个吧小时-_-,这里等待等待下载即可​​​​​​​

​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​3.运行DeepSeek以及基本命令

下载好后默认是直接可以运行的状态,因为下载的同时就使用了run来进行运行(原理同docker run)。按ctrl+d可以退出到命令行,或者直接输入文字交流,如下图

​​​​​​​​

​​​​​​​​

編輯

​​​​​​​​​​​​​​編輯

输入ollama list来查看已经下载(或存在)的模型,如下图:

​​​​​​​

編輯

输入ollama run <模型名称>,可以运行某个模型,如下图:

​​​​​​​​​​​​​​​​編輯

输入后ollama create <扮演角色> -f <角色提示词引擎文件路径>,可以创建一个特定的角色,后续有机会可以聊聊。

至此,DeepSeek本地部署大功告成,你就可以放飞自我和DS聊天了~!

您可能感兴趣的与本文相关的镜像

Llama Factory

Llama Factory

模型微调
LLama-Factory

LLaMA Factory 是一个简单易用且高效的大型语言模型(Large Language Model)训练与微调平台。通过 LLaMA Factory,可以在无需编写任何代码的前提下,在本地完成上百种预训练模型的微调

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值