本文来自于 风哥
DeepSeek在这几年期间火爆全球,相信大家都刷到了类似的新闻或者视频,个人使用感觉希望聊天功能更好一些,费掉翻墙,而且支持本地化部署,保护个人隐私,可以制作更相关的模型(你懂的)。
当然也可以把本地的模型训练成已故亲和他/她聊天,模型会以自己的亲人的语气和你文字化交流。另外也可以接入训练人声进行语音聊天,目前好的确实有人可以,不一一举例。
本地部署
废话不多说,直接上教程~ DeepSeek可以在Windows和MacOS上进行部署,这里以MacOS为例进行演示,先打开ollama
官网欧拉玛,如下所示,选择自己的操作系统下载即可,这里以mac为例,Windows安装步骤完全一致。
1.下载ollama
編輯
下载一个压缩包,解压后拖入到应用程序中即可,会在状态栏显示一只羊驼
編輯
編輯
編輯
2.配置deepseek
命令行窗口,Windows的小伙伴请使用cmd
,mac的小伙伴请使用终端
,在命令行中输入“ollama”,如果可以出现如下内容,表示ollama安装成功,附带一提,ollama使用起来和docker很像,用过docker的小伙伴打开会很方便。
编辑
在ollama官网搜索deepseek,进入后自己想要的模型,个人推荐4090的小伙伴可以使用32b,魔改的48g4090使用70b无压力可以;本人为MacbookPro-M2-MAX-96g,使用32b的模型无压力,如果硬件配置比较低,那么使用14b或者8b的即可:
编辑
Windows的小配件主要看显存,下面已经附上配件参考:
-
1.5b:不需要显存
-
7b:8G显存
-
8b:8G显存
-
14b:16G显存
-
32b:24G显存,RTX4090
-
70b:48G显存魔改4090(或单卡4090外加共享显存,会卡顿)
-
671b:480G显存,满血DeepSeek,土豪级别的小伙伴,购买10张4090没应该问题~
我以8b为例,点击红色箭头的复制按钮,这里把蘑菇脚本复制到命令行:
編輯
复制到命令行按回车
进行下载:
編輯
8b比较小,很快能下好,我之前的32b下载了个吧小时-_-,这里等待等待下载即可
3.运行DeepSeek以及基本命令
下载好后默认是直接可以运行的状态,因为下载的同时就使用了run来进行运行(原理同docker run
)。按ctrl
+d
可以退出到命令行,或者直接输入文字交流,如下图
編輯
編輯
输入ollama list
来查看已经下载(或存在)的模型,如下图:
編輯
输入ollama run <模型名称>
,可以运行某个模型,如下图:
編輯
输入后ollama create <扮演角色> -f <角色提示词引擎文件路径>
,可以创建一个特定的角色,后续有机会可以聊聊。
至此,DeepSeek本地部署大功告成,你就可以放飞自我和DS聊天了~!