dify源码本地部署,dify k8s部署

一、简介

Dify.AI 是一款简单易用且开源的 LLMOps 平台,帮助开发者更简单、更快速地创建 AI 应用。它的核心理念是通过可声明式的 YAML 文件定义 AI 应用的各个方面,包括 Prompt、上下文和插件等。Dify 提供了可视化的 Prompt 编排、运营、数据集管理等功能。这些功能使得开发者能够在数天内完成 AI 应用的开发,或将 LLM 快速集成到现有应用中,并进行持续运营和改进。

核心能力:

    • 可视化编排 Prompt:通过界面化编写 prompt 并调试,只需几分钟即可发布一个 AI 应用;
    • 接入长文本(数据集):全自动完成文本预处理,使用您的数据作为上下文,无需理解晦涩的概念和技术处理;
    • 基于 API 开发:后端即服务。您可以直接访问网页应用,也可以接入 API 集成到您的应用中,无需关注复杂的后端架构和部署过程。
    • 数据标注与改进:可视化查阅 AI 日志并对数据进行改进标注,观测 AI 的推理过程,不断提高其性能。

二、部署

docker代理

本文使用Ubuntu 22.04.4来进行演示,首先确保已经安装好了最新版本的docker,docker-compose。安装过程省略,网上有很多教程。

注意:docker hub拉取镜像时,会失败,超时。因为国内网络访问受到了限制,必须使用代理才行。

为了解决拉取镜像失败问题,国内有些公开的docker代理,可以拉取镜像。

直接拿来使用即可,修改文件daemon.json

vi /etc/docker/daemon.json

内容如下:

{
        "registry-mirrors": [
                "https://docker.1ms.run",
                "https://docker.xuanyuan.me"
        ]
}

重启dockersystemctl restart docker

正式部署

访问github地址:https://github.com/langgenius/dify.git

注意:github需要FQ才能访问

下载代码,复制环境变量,使用docker-compose启动

cd /opt/
git clone https://github.com/langgenius/dify.git
cd /opt/dify
cd docker
cp .env.example .env
docker-compose up -d

访问页面,地址:http://服务器ip,例如:http://192.168.32.14/

选择语言为中文

输入,邮箱,用户名,密码。点击设置

 注意:这里设置就是管理员账户。

右上角点击账户,可以看到dify版本为1.1.0

三、dify设置

模型供应商

右上角点击账户-->设置-->模型供应商

找到通义千问-->安装

 点击设置

 输入api key

 系统模型设置

设置模型

 刷新页面,再次进入模型供应商,就没有警告提示了

 创建应用

点击工作室-->创建空白应用

 创建一个聊天助手

 点击右上角模型,设置为qwen-max-latest。点击发布-->发布更新。最后点击运行

 他会开启一个新的页面,在最下面,输入问题即可,点击发送

 效果如下:

四、插件

在线安装

点击插件

 点击探索Marketplace

这里会展示所有插件

 点击对应的插件,案件即可。

本地安装

 如果在线安装插件,遇到了错误:Reached maximum retries (3) for URL https://marketplace.dify.ai/api/v1/plugins/download?unique_identifier=langgenius/tongyi:0.0.12@0e4f4caf2002b8fa6de179abf3e8b91b640324921982e9999d96967474f43e18

可以多测试几次,如果多次尝试不行,并且在服务器上面测试端口telnet marketplace.dify.ai 443,结果超时。

说明服务器的公网ip被marketplace.dify.ai拉入了黑名单,无法访问了。

这个时候,就需要本地安装插件了。

进入页面:https://marketplace.dify.ai/

找到要安装的插件,比如通义千问

点击下载按钮

 本地会得到文件langgenius-tongyi_0.0.12.difypkg

进入dify插件页面,点击,安装插件-->本地插件

 上传本地的文件langgenius-tongyi_0.0.12.difypkg,等待几十秒,就会安装完成了。

五、dify k8s部署

k8s相关yaml,我以及上传到github里面了,地址:https://github.com/987334176/dify-k8s

具体操作步骤,README.md文件有详细说明,这里就不重复了

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值