你是否也曾因为数据隐私或网络延迟问题,而希望将DeepSeek部署在本地?
别担心!工科狗Niko将手把手教你如何 从零开始完成DeepSeek的本地化部署,轻松上手!
首先,可以了解下本地化部署对计算机/服务器的要求,不同规模的模型大致要求如下图所示:
参见上图,配置越高,运行效果越好,如果配置过低,可能会出现运行卡顿甚至无法运行的情况。
一、安装ollama
本地部署首先要安装ollama,在浏览器里搜索ollama,点击进入ollama官网
进入官网后,点击download
然后,选择合适的系统进行下载,支持macOS,Linux和Windows系统
下载好后,点击安装,则自动安装在C盘
在命令行中输入ollama -v
,然后回车,如果显示了 ollama 版本号,则说明ollama安装成功了
二、下载 DeepSeek 模型
回到刚刚的官网,点击DeepSeek - R1
进入deepseek-r1的模型选择界面,这里可以选择模型的大小,这个可以根据自己电脑的配置来决定。除此之外,也可以选择部署一些其他的微调模型。
选择好对应模型后,复制对应的命令。
复制相应指令后,在命令行中粘贴刚刚的指令,回车,等待模型下载完成
下载安装好后,在命令行直接实验,发现可以正常回答,这证明安装成功了。这里我们在没有网络的情况下也可以使用deepseek。
三、配置前端界面
当然,一直像上面这样用命令行与deepseek交互还是不太方便,为了方便直观得与 DeepSeek 或其他 AI 模型进行交互,可以选择ChatboxAI,Open-WebUI,Gradio等工具来实现前端界面,这里我们以ChatboxAI为例来介绍。
首先通过搜索引擎找到ChatboxAI的官网,点击下载
下载好后,点击安装包,即可自动进行安装。
安装完后,打开Chatbox AI的软件,在这里我们选择Ollama API
下面配置API,如果是自己本机安装的模型,则API已经自动配置好,而如果是服务器端的,则以服务器地址:端口号
的形式
以服务器端部署的为例,在下面的下拉菜单中对应选择自己部署的模型
配置好后,打开聊天框,即可开始使用~