deepseek+docker+ollama+dify私有化部署智能助手和知识库要点

先说明一下,本人云服务器是centos 4核8G无GPU,为了部署方便借助宝塔,不知道如何下载安装宝塔的可以去宝塔官网,傻瓜式安装

1.安装ollama 和dify (注意如果安装失败,需要配置加速URL)

2.ollama 安装模型

需要安装2类模型,这里我装了deepseekr1和bge-m3(Embedding模型)

3.配置dify

因为我的dify是绑定到8081端口,所以我的dify访问地址是:ip:8081/apps,第一次登录需要设置管理员账号

设置好管理员账号,登录进入然后去设置页面设置模型商

如果模型列表显示模型未配置,先进行模型商的安装

如果安装不成功,可以进行手动安装,点击上面的详情里面可以下载difypkg格式的文件,导入下面的本地插件进行安装,安装好之后回到刚才设置的页面,选择刚安装的ollama

接下来就是添加模型

模型名称就是之前安装的如果不知道,可以docker登录 然后输入ollama list可以列出你所安装的模型,基础url就是你的当前ip:11434,下面默认点保存如下

4.上传知识库

注意选择embedding模型,保存,等待解析完成

5.新增聊天助手

这里选择知识库,保存之后

可以直接部署网站也可以api调用

点击运行可以测试一下效果,如果打不开注意添加上绑定的端口

具体部署问题可以搜索 “海说AI大模型” 找我免费咨询

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值