为什么要DeepSeek私有化
说实话,如果有人跟你吹本地化如何如何好,那都是扯淡。真要用AI工具,那还得是用各大大模型官网产品是最佳的。因为你自己个人电脑的算力能比得上别人官网的服务器集群?自己部署的本地化大模型充其量算玩具。谈不上生产力工具。
那我为什么还要写这篇文章呢?仅仅是当技术分享。让大家明白大模型是如何部署起来的。并且未来可能还会分享大模型的参数调优等技术。也算是扩展一下大家对大模型技术的一些掌握。
所需工具
-
Ollama
-
一款本地部署大模型的工具,支持多个开源大模型
-
-
Docker
-
一款快速打包部署的工具。我愿称之为划时代的部署。
-
例如:传统的web网站要想上线必须经历安装对应web服务、设置web访问路径、端口等等,而有了docker可以一键实现。
-
-
open-webui
-
一款用来与大模型对话的web ui界面。有了它就可以做自己的专有大模型对话网站并共享给局域网小伙伴使用。
-
步骤一:Ollama安装与下载DeepSeek
-
下载Ollama。可去官网下载:点我跳转到官网,根据自己系统选择对应的版本下载即可,如下图所示
tips:官网直接现在比较慢,建议复制下载链接到迅雷,用迅雷下载
-
安装Ollama(以windows为例):双击下载好的OllamaSetup.exe,直接按
Install
即可。 -
安装完成后,windows系统右下角(mac右上角状态栏)会出现一个羊驼图标,即为成功,如下图所示
-
接下来,用Ollama部署本地大模型,打开终端:windows用户可以win+r调出运行,然后输入cmd按回车,如下图