本地部署deepseek r1:7b的chatbox简易版步骤(同理其他大模型)

​​​​​实现效果:

背景:在本地使用比网页端能保护数据安全;调用api 反应更快,网页端时常服务器繁忙

实现功能:在本地使用大模型,类似网页端的交互方式

前面尝试:尝试用ollma 下载大模型后用docker 制作chatbot,但是docker下载后弹出公司的警告不允许运行,所以问deepseek如何轻量部署

步骤1:下载ollama

下载地址Ollama

步骤2:在终端运行ollama并下载大模型

在电脑开始栏输入“命令”,选择“命令提示符”,在命令终端运行以下代码

curl http://localhost:11434

如果返回 ollama is running 则说明运行成功

继续在终端运行以下命令下载大模型,r1:7b 版本大概需要下载1.5-2个小时,在这期间可以先进行步骤3

ollama run deepseek r1:7b

步骤3:创建一个简单的Web界面

可以使用本地的vscode 创建python 文件和html文件,我使用的是jupyter

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值