小白也能低成本部署DeepSeek本地服务

DeepSeek服务本地部署

DeepSeek的横空出世,极大地降低了大模型的应用门槛,其蒸馏后的小模型效果非常不错且对硬件的需求度也较低。让个人笔记本或者台式机来做为大模型的使用载体,也成为了现实。

材料准备

1)ollama,大模型的管理调度工具。
2)chatbox,跟大模型交互的工具。

本地安装步骤

1)下载并安装ollama

登录官方网站,下载匹配系统的ollama软件并安装,windows建议安装到C盘。
在这里插入图片描述

2)验证安装成功与否

Win+R,输入cmd命令,再执行ollama -v,会得到版本号,表示安装成功。

C:\Users\userName> ollama -v
client version is 0.5.7

3)下载并运行指定模型的指定版本

这里选择deepseek-r1:1.5b的模型
在这里插入图片描述
复制对应模型的对应版本的ollama执行命令,在cmd命令行下执行。

C:\Users\userName> ollama run deepseek-r1:1.5b
=======================100% 进度条
>>> Send a message (? for help)

4)下载并安装chatbox

在这里插入图片描述

5)安装chatbox之后,进行配置

在这里插入图片描述

6)愉快进行问答对话

可以问答,可以上传文件,不用担心数据安全问题,都是本地的。
比如问题: x 2 + y 2 = 1 x^2 + y^2 = 1 x2+y2=1这个方程的解是多少。
在这里插入图片描述
如果模型足够大的话,是可以支持多模态的(语音、图片、视频),14B以下的deepseek模型应该都不支持多模态。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值