Dify挂接本地DeepSeek(Ollama)实现聊天助手

前言

Windows下的Dify安装完毕后,就可以进行和DeepSeek的挂接配置了。关于Windows下Dify 的安装,可以参考我另外的两篇博客:

Windows下docker的安装:https://quickrubber.blog.youkuaiyun.com/article/details/146170500

Windows下Dify的安装:https://blog.youkuaiyun.com/quickrubber/article/details/147277381

一、进入设置页面

进入设置页面后,点击“模型供应商”,如下图:

选择Ollama羊驼,进行安装测试,如下图:

然后,提示会安装如下的插件:

点击完成Ollama插件的安装。

退出当前页面,新开浏览页,重新进入Dify,可以发现,这个插件已经可以用了,但是还需要进一步的配置,如下图:

因为,我想使用本地配置的Ollama,所以我参考了我前面配置的ChatBox中的配置,如下图:

(关于ChatBox+Ollama+本地DeepSeek,可以参看我的另外一篇博客,DeepSeek的本地配置:https://quickrubber.blog.youkuaiyun.com/article/details/145868569)

但是,这样保存后会出错,如下图:

要这样配置就可以保存了(关键是要对基础URL进行修改),如下图:

保存成功后,一个本地的deepseek模型就挂接成功了,如下图:

(值得注意的是,本地创建的deepseek模型,模型上下文长度和token的上限都是可以自己定义的,可以突破在线deepseek模型的默认上下文和token长度限制)

然后,对系统模型进行设置,如下图:

二、开始创建应用

这样,一个基础的聊天助手,就创建好了,如下图:

提问的效果,如下图:

可见可以用聊天助手进行提问和回答了。

### 如何配置并连接到本地运行的 DeepSeek API 对于希望在本地环境中利用 DeepSeek 大型语言模型执行任务的情况,无论是通过 Linux 或 Windows 平台,都需要确保正确安装和配置相应的环境来支持 DeepSeek本地化部署。 #### 在Linux环境下配置DeepSeek API 为了使 DeepSeek 能够在个人 Linux 机器上作为服务提供访问,需遵循特定设置流程[^1]。这通常涉及到 Docker 容器技术的应用以及 Ollama 和 Open WebUI 工具的支持。完成这些组件的安装之后,应当能够启动一个可被外部程序调用的服务端口,从而允许其他应用程序向该服务发起请求以获取由 DeepSeek 模型产生的响应数据。 一旦完成了上述准备工作,则可以通过 HTTP 协议指定路径 `/v1/chat/completions` 向正在监听于 `http://localhost:<port>` 的服务器发送 POST 请求来进行交互操作。这里的 `<port>` 是指当启动容器时所映射给主机使用的端口号,在大多数情况下可能是默认值如 8080 或者自定义设定的一个数值。 ```bash curl -X 'POST' \ 'http://localhost:8080/v1/chat/completions' \ -H 'Content-Type: application/json' \ -d '{"model": "deepseek-r1", "messages":[{"role":"user","content":"你好"}]}' ``` 此命令展示了如何构建一个简单的 JSON 格式的聊天消息体并通过 curl 命令行工具提交至本地 DeepSeek 实例。 #### 在Windows环境下配置DeepSeek API 针对 Windows 用户而言,除了依赖相同的核心软件包之外,还需要特别注意 Chatbox 这一图形界面应用的角色[^2]。它简化了与底层框架之间的沟通方式,并提供了直观的操作体验。具体来说: - **API 类型**:应选择“OLLAMA API”,这是因为 DeepSeek 构建在其之上; - **接口地址**:输入 `http://localhost:11434` 表明目标位于同一设备上的网络位置及其开放用于接收指令的具体端点; - **模型名称**:务必确认填写的是先前已经成功加载入系统的那个版本号——例如 `deepseek-r1:8b`; 以上参数调整完毕后保存更改即实现了基本的功能对接。此时任何经由 Chatbox 发起的动作都将转交给后台处理单元中的 DeepSeek 组件去解析并作出回应。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

青花瓷

您的鼓励是我创作的巨大动力!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值