DeepSeek服务本地部署
DeepSeek的横空出世,极大地降低了大模型的应用门槛,其蒸馏后的小模型效果非常不错且对硬件的需求度也较低。让个人笔记本或者台式机来做为大模型的使用载体,也成为了现实。
材料准备
1)ollama,大模型的管理调度工具。
2)chatbox,跟大模型交互的工具。
本地安装步骤
1)下载并安装ollama
登录官方网站,下载匹配系统的ollama软件并安装,windows建议安装到C盘。
2)验证安装成功与否
Win+R,输入cmd命令,再执行ollama -v,会得到版本号,表示安装成功。
C:\Users\userName> ollama -v
client version is 0.5.7
3)下载并运行指定模型的指定版本
这里选择deepseek-r1:1.5b的模型
复制对应模型的对应版本的ollama执行命令,在cmd命令行下执行。
C:\Users\userName> ollama run deepseek-r1:1.5b
=======================100% 进度条
>>> Send a message (? for help)
4)下载并安装chatbox
5)安装chatbox之后,进行配置
6)愉快进行问答对话
可以问答,可以上传文件,不用担心数据安全问题,都是本地的。
比如问题:
x
2
+
y
2
=
1
x^2 + y^2 = 1
x2+y2=1这个方程的解是多少。
如果模型足够大的话,是可以支持多模态的(语音、图片、视频),14B以下的deepseek模型应该都不支持多模态。