本地化部署deepseek

看到最近比较火热的deepseek话题,我也做一下自我实践,将心得记录于此。

 0x01.模型对标的功能和配置需求

本人硬件条件有限,选用deepseek-r1:8b版本。

0x02.ollama安装(一个羊驼的图标)

默认安装在C盘用户目录,可以通过修改系统变量方式迁移至D盘,以节省系统盘空间。迁移后可以用命令测试,ollama -v查看版本,ollama -h查看帮助。

0x03.拉取模型

ollama run deepseek-r1:8b

到这里就可以通过命令行与它交互了,

为了能够方便的管理,选用Firefox浏览器添加Page Assist插件,方便管理模型。

0x04.提问前的设置

1)RAG设置

选择文本嵌入模型

2)添加新知识

管理模型-添加新知识

短暂等待后……

0x05.交互

1)请做一下自我介绍(这和最开始命令行显示的完全不同)

2)问一个刚刚上传手册里的问题

0x06.挑战一下14b的看看有何不同

修改模型后测试只是显卡显存占用略多,8b只是用了一半越6GB,交互思考时可以听到风扇呼呼的声音。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值