一、简介
Dify.AI 是一款简单易用且开源的 LLMOps 平台,帮助开发者更简单、更快速地创建 AI 应用。它的核心理念是通过可声明式的 YAML 文件定义 AI 应用的各个方面,包括 Prompt、上下文和插件等。Dify 提供了可视化的 Prompt 编排、运营、数据集管理等功能。这些功能使得开发者能够在数天内完成 AI 应用的开发,或将 LLM 快速集成到现有应用中,并进行持续运营和改进。
核心能力:
- 可视化编排 Prompt:通过界面化编写 prompt 并调试,只需几分钟即可发布一个 AI 应用;
- 接入长文本(数据集):全自动完成文本预处理,使用您的数据作为上下文,无需理解晦涩的概念和技术处理;
- 基于 API 开发:后端即服务。您可以直接访问网页应用,也可以接入 API 集成到您的应用中,无需关注复杂的后端架构和部署过程。
- 数据标注与改进:可视化查阅 AI 日志并对数据进行改进标注,观测 AI 的推理过程,不断提高其性能。
二、部署
docker代理
本文使用Ubuntu 22.04.4来进行演示,首先确保已经安装好了最新版本的docker,docker-compose。安装过程省略,网上有很多教程。
注意:docker hub拉取镜像时,会失败,超时。因为国内网络访问受到了限制,必须使用代理才行。
为了解决拉取镜像失败问题,国内有些公开的docker代理,可以拉取镜像。
直接拿来使用即可,修改文件daemon.json
vi /etc/docker/daemon.json
内容如下:
{
"registry-mirrors": [
"https://docker.1ms.run",
"https://docker.xuanyuan.me"
]
}
重启dockersystemctl restart docker
正式部署
访问github地址:https://github.com/langgenius/dify.git
注意:github需要FQ才能访问
下载代码,复制环境变量,使用docker-compose启动
cd /opt/
git clone https://github.com/langgenius/dify.git
cd /opt/dify
cd docker
cp .env.example .env
docker-compose up -d
访问页面,地址:http://服务器ip,例如:http://192.168.32.14/
选择语言为中文
输入,邮箱,用户名,密码。点击设置
注意:这里设置就是管理员账户。
右上角点击账户,可以看到dify版本为1.1.0
三、dify设置
模型供应商
右上角点击账户-->设置-->模型供应商
找到通义千问-->安装
点击设置
输入api key
系统模型设置
设置模型
刷新页面,再次进入模型供应商,就没有警告提示了
创建应用
点击工作室-->创建空白应用
创建一个聊天助手
点击右上角模型,设置为qwen-max-latest。点击发布-->发布更新。最后点击运行
他会开启一个新的页面,在最下面,输入问题即可,点击发送
效果如下:
四、插件
在线安装
点击插件
点击探索Marketplace
这里会展示所有插件
点击对应的插件,案件即可。
本地安装
如果在线安装插件,遇到了错误:Reached maximum retries (3) for URL https://marketplace.dify.ai/api/v1/plugins/download?unique_identifier=langgenius/tongyi:0.0.12@0e4f4caf2002b8fa6de179abf3e8b91b640324921982e9999d96967474f43e18
可以多测试几次,如果多次尝试不行,并且在服务器上面测试端口telnet marketplace.dify.ai 443,结果超时。
说明服务器的公网ip被marketplace.dify.ai拉入了黑名单,无法访问了。
这个时候,就需要本地安装插件了。
进入页面:https://marketplace.dify.ai/
找到要安装的插件,比如通义千问
点击下载按钮
本地会得到文件langgenius-tongyi_0.0.12.difypkg
进入dify插件页面,点击,安装插件-->本地插件
上传本地的文件langgenius-tongyi_0.0.12.difypkg,等待几十秒,就会安装完成了。
五、dify k8s部署
k8s相关yaml,我以及上传到github里面了,地址:https://github.com/987334176/dify-k8s
具体操作步骤,README.md文件有详细说明,这里就不重复了