本地化部署DS系列大模型,构建个人智能助手

分享一种非常简单的本地部署LLM的方法,免费,一台电脑,联网就行。

工具:deepseek + Ollama + Cherry Studio,开源大模型源代码+本地部署构建工具+个人助理构建

1、Download Ollama on Windows  下载ollma部署工具(我用的windows)

下载到本机,然后按照安装提示完成安装,安装完成后,在WIN+R打开命令行输入ollma命令,如果不报错,表示安装成功。

Ollama常用的指令就图中这几个,比如启动运行某个模型,就用:ollama run XXX(模型名称)即可。下载deepseek命令行如下,这些都在ollama官网可以直接复制过来到命令行。

比如:

如何退出deepseek命令行对话窗口呢

当我们run进入deepseek之后,在会话中命令提示符显示的是“Send a message”,如果要退出deepseek,可以直接输入    “/bye”   回车即可退出会话

上图表示1.5b模型模型已经安装成功。在命令行就可以直接使用自然语言对话,但是,这样使用很难受,我们便可以使用一些本地模型使用管理软件,比如硅基流动的Cherry Studio。

Cherry Studio - 全能的AI助手  官网,直接下载即可

根据自己的需要简单设置,如下:

就完成了本地大模型的部署使用和管理。

卸载大模型的方法就比较简单

1、在文件夹直接卸载、2、在CMD命令行窗口使用ollama的rm命令卸载。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值