dify本地部署聊天机器人

部署运行你感兴趣的模型镜像


本次部署基于Docker,如果未安装Docker建议参考https://blog.youkuaiyun.com/helluy/article/details/149393602?spm=1011.2415.3001.5331安装。并建议安装一个Ubuntu子系统,在管理员权限的powershell中输入:

wsl --install

这里会默认安装Ubuntu,运行后出现
在这里插入图片描述
则需要输入用户名,回车输入密码,就安装成功了。启动Ubuntu子系统使用命令:

WSL -d Ubuntu

后面会在Ubuntu中用Docker进行dify的本地部署。

拉取dify

打开cmd,切换到某个路径下,这里作者使用的是D:\Program Files路径。使用以下命令从github中拉取dify源代码,前提电脑是已经安装git了的:

git clone https://github.com/langgenius/dify.git

在这里插入图片描述
进入WSL的Ubuntu子系统(安装git的可以直接用git bash),使用命令

cd dify/docker

切换到docker文件夹,copy环境配置文件

cp .env.example .env

运行以下命令拉取dify需要的镜像

docker compose up -d

在这里插入图片描述
如果出现以下错误,参考这篇博客https://blog.youkuaiyun.com/weixin_59276073/article/details/144710035
在这里插入图片描述
修改后重新执行docker compose up -d,即可成功runing
在这里插入图片描述
浏览器上,输入 http://localhost/install即可访问。创建账户即可进入dify在这里插入图片描述

安装Ollama

进入https://ollama.com/官网,下载安装即可。安装完成后点击左上角的Models,选择一个要下载的模型,这里选择的是deepseek-r1,然后在本地选择一个或新建一个文件夹,用来存放下载的模型。将这个存放模型的地址加入环境变量,变量名为OLLAMA_MODEL,如下所示
在这里插入图片描述
选择一个deepseek-r1的版本下载,打开cmd运行

ollama run deepseek-r1:1.5b

ollama会自动下载模型到你环境变量中的文件夹。下载完成后使用命令ollama list查看下载的模型列表。

配置dify

dify登陆完账户密码后,点击右上角个人主页,选择settings/设置,选择模型供应商,在安装模型供应商页面选择ollama安装(有安装按钮)
在这里插入图片描述
安装完成后在上面的模型列表中会出现
在这里插入图片描述
点进去按照下面进行配置
在这里插入图片描述
点击保存就完成了。

创建聊天机器人

在dify主页选择聊天助手-创建空白应用,写一个应用名称,选择创建即可,在应用详情界面选择右上角发布,选择发布更新,再点击运行,就可以开始聊天了。
在这里插入图片描述

知识库创建

选择上方知识库按钮,点击创建知识库,就可以添加文件进去了。创建知识库后,如果想要聊天机器人用到,需要重新创建机器人,在详情页选择添加节点-添加知识检索类型节点,在节点详情中添加知识库就行了。
在这里插入图片描述

参考链接
[1] https://marketplace.dify.ai/plugins/langgenius/ollama?source=http%253A%252F%252Flocalhost?language=zh-Hans&theme=system

您可能感兴趣的与本文相关的镜像

Llama Factory

Llama Factory

模型微调
LLama-Factory

LLaMA Factory 是一个简单易用且高效的大型语言模型(Large Language Model)训练与微调平台。通过 LLaMA Factory,可以在无需编写任何代码的前提下,在本地完成上百种预训练模型的微调

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值