从零开始DeepSeek本地部署超全指南

你是否也曾因为数据隐私或网络延迟问题,而希望将DeepSeek部署在本地?
你是否对复杂的部署流程感到头疼,不知道从何下手?
别担心!工科狗Niko将手把手教你如何 从零开始完成DeepSeek的本地化部署,轻松上手!

首先,可以了解下本地化部署对计算机/服务器的要求,不同规模的模型大致要求如下图所示:
在这里插入图片描述
参见上图,配置越高,运行效果越好,如果配置过低,可能会出现运行卡顿甚至无法运行的情况。

一、安装ollama

本地部署首先要安装ollama,在浏览器里搜索ollama,点击进入ollama官网
在这里插入图片描述
进入官网后,点击download
在这里插入图片描述
然后,选择合适的系统进行下载,支持macOS,Linux和Windows系统
在这里插入图片描述
下载好后,点击安装,则自动安装在C盘

请添加图片描述
在命令行中输入ollama -v,然后回车,如果显示了 ollama 版本号,则说明ollama安装成功了

二、下载 DeepSeek 模型

回到刚刚的官网,点击DeepSeek - R1
在这里插入图片描述
进入deepseek-r1的模型选择界面,这里可以选择模型的大小,这个可以根据自己电脑的配置来决定。除此之外,也可以选择部署一些其他的微调模型。
在这里插入图片描述
选择好对应模型后,复制对应的命令。
请添加图片描述
复制相应指令后,在命令行中粘贴刚刚的指令,回车,等待模型下载完成
请添加图片描述
下载安装好后,在命令行直接实验,发现可以正常回答,这证明安装成功了。这里我们在没有网络的情况下也可以使用deepseek。
请添加图片描述

三、配置前端界面

当然,一直像上面这样用命令行与deepseek交互还是不太方便,为了方便直观得与 DeepSeek 或其他 AI 模型进行交互,可以选择ChatboxAI,Open-WebUI,Gradio等工具来实现前端界面,这里我们以ChatboxAI为例来介绍。

首先通过搜索引擎找到ChatboxAI的官网,点击下载
请添加图片描述
下载好后,点击安装包,即可自动进行安装。
安装完后,打开Chatbox AI的软件,在这里我们选择Ollama API
在这里插入图片描述
下面配置API,如果是自己本机安装的模型,则API已经自动配置好,而如果是服务器端的,则以服务器地址:端口号的形式
在这里插入图片描述

请添加图片描述
以服务器端部署的为例,在下面的下拉菜单中对应选择自己部署的模型
在这里插入图片描述
配置好后,打开聊天框,即可开始使用~

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值