本地部署DeepSeek-R1-Distill-Qwen-7B

抽空利用ollama和Chatbox工具在本地部署DeepSeek模型,目的对本地运行DeepSeek有个感性认识,好继续设计自己的Agent。
(1)下载 ollama。本地操作系统为win11,ollama官网www.Ollama.com,按页面提示下载OllamaSetup.exe安装文件。
(2)安装ollama。双击,按安装向导的引导把ollama缺省安装到系统盘上,我是默认安装,安装向导会自动在系统的Path环境变量中加上这个安装目录。主要是想省事,正式使用的话建议规划一下目录。
安装成功后,在桌面右下角收起来的图标中能发现ollama正在运行。
(3)通过Ollama官网下载DeepSeek-R1模型,首先到Ollama官网确认一下需要下载的DeepSeek模型类型,https://ollama.com/library/deepseek-r1。
根据自己电脑的配置情况,选择参数量合适的模型
(4)在本地Win11系统打开管理员终端,例如输入命令ollama run deepseek-r1:1.5b,则会下载DeepSeek-R1-Distill-Qwen-1.5B模型。
(5)DeepSeek-R1-Distill-Qwen-1.5B模型下载成功后,这个模型就直接在本地系统上运行起来了,接下来就可以跟模型交互了。
(6)终端交互还是有点不方便,可以通过WebUI工具Chatbox跟模型交互。到Chatbox官网https://chatboxai.app/下载Windows系统的Chatbox。
安装成功后再桌面上点击Chatbox图标运行。点击主界面左下方的“设置”,弹出“设置”窗口,在“模型”选项卡中选择模型类型,因为安装模型的提供方选择“OLLAMA API”,Chatbox能检测到通过OLLAMA 运行起来的模型,选择对话的模型,比如装的是“deepseek-1:1.5b”,点击“保存”按钮保存设置。
(7)接下来就能在Chatbox提供的Web界面上与模型进行交互了。
总结,利用Ollama和Chatbox在本地局域网上部署DeepSeek模型,方便本地局域网用户使用DeepSeek,这是一种比较简单方便的快速部署方法。
忘了截图了。有空把树莓派的AI模块装上,部署一个小DeepSeek的服务,再重新加图吧。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值