Dify本地安装部署笔记

目录

方式一【docker安装】：

步骤 1：准备工作

步骤2: 克隆dify仓库

步骤3:部署启动dify

步骤 4：访问 Dify

步骤5:升级dify

方式二【源码安装】：

步骤1. 硬件：最低安装要求

步骤2: 业务服务前的3个服务

1. 安装工具：

2. 安装redis，wget，nginx，nodejs，npm等必备工具 

3. 启动服务

步骤3: Clone Dify 代码：

步骤4: 启动前端，后端，和worker

步骤5:配置代理nginx

踩坑记录：

踩坑： pyenv

踩坑：poetry工具

poetry install时一直提示Cannot install alibabacloud-tea因为 _cffi_backend找不到

安装onnxruntime错误

Installing grpcio (1.67.1): Failed  TimeoutError​​​​​​​​​​​​​​

踩坑： flask、postgreSQL

1. flask不存在：​​​​​​​

2. postgreSQL Connection refused：postgresql没有配置用户密码，也没有启动服务

解决办法：

踩坑：root未定义

---

Dify 是一个让你轻松构建 AI 应用的开源平台，简单来说就是给开发者打造的一站式AI应用开发工具。它主要有以下几个特点：

1. 简单直观：你可以通过图形界面来创建和调试 AI 应用，几分钟就能发布。
2. 上下文集成：可以用你自己的数据来进行文本预处理，无需深入了解技术细节。
3. API 访问：提供后台服务，直接访问 Web 应用或将 API 集成到你的项目中，不用担心复杂的后台架构和部署问题。
4. 数据优化：通过图形界面查看 AI 的运行日志，改进数据标注，不断提升 AI 的表现。

Dify 兼容 Langchain，支持多种大语言模型（LLM）。目前支持的模型供应商包括 OpenAI、Azure OpenAI、Anthropic、Replicate、Hugging Face、ChatGLM、Llama2、MiniMax、讯飞星火、文心一言和通义千问等。

换句话说，Dify 就是一个帮你快速、高效地开发和优化 AI 应用的万能工具箱。

方式一【docker安装】：

步骤 1：准备工作

确保你已经安装了 Docker 和 Docker Compose。如果没有，请先安装：

1. Docker：可以从 Docker 官方网站(https://www.docker.com/get-started) 下载并安装适合你操作系统的版本。
2. Docker Compose：一般 Docker 会自带 Docker Compose，如果没有，你可以按照 Docker Compose 安装指南(https://docs.docker.com/compose/install/) 进行安装。

Docker的安装不需要说了，双击安装文件就行。已经安装docker的情况下，安装Docker Compose，可以在终端输入下面的命令（如果不起作用，你需要安装一下 Homebrew）：

brew install docker-compose

Dify本地安装可以用docker方式，和源码编译方式。

步骤2: 克隆dify仓库

安装dify并启动：git clone https://github.com/langgenius/dify.git

用“访达”打开一个桌面建立一个dify文件夹，然后双击以后就可以直接使用：

git clone https://github.com/langgenius/dify.git

它的效果等同于：

​cd ~/Desktop

mkdir dify  # 其中，mkdir是“make directory”的缩写。
​
cd dify
​
git clone https://github.com/langgenius/dify.git

步骤3:部署启动dify

# 进入 dify 源代码的 docker 目录，配置nginx端口，执行一键启动命令
cd dify/docker
export EXPOSE_NGINX_PORT=8080
docker compose up -d

启动后docker ps 可以看到以下容器

netstat -natp可以看到docker监听的端口是8080，设置安全组开发8080端口

访问 http://虚拟机ip:8080  根据情况输邮箱，用户名，密码 完成本地注册可以开始使用

等上一会儿你就会发现部署结果：

[+] Running 9/9
✔ Container docker-web-1 Started 1.0s
✔ Container docker-redis-1 Started 1.1s
✔ Container docker-weaviate-1 Started 0.9s
✔ Container docker-db-1 Started 0.0s
✔ Container docker-worker-1 Started 0.7s
✔ Container docker-api-1 Started 0.8s
✔ Container docker-nginx-1 Started 0.7s
✔ Container docker-sandbox-1 Started 0.7s
✔ Container docker-ssrf_proxy-1 Started 0.8

用下面的命令检查一下是不是正常运行：

docker compose ps

你也可以打开docker的桌面应用，看看里面容器运行情况。

步骤 4：访问 Dify

在浏览器输入框里输入：localhost/install，这是为了完成 Dify 的初始配置的。

稍等一会儿，就大功告成了。

步骤5:升级dify

进入 dify 源代码的 docker 目录，按顺序执行以下命令：

cd dify/docker
git pull origin main
docker compose down
docker compose pull
docker compose up -d

1. 如果发现其他问题，建议直接GPT来解决。比如说端口冲突，还有环境变量错误之类的。实在不行，把容器什么的都删除，按照流程重来一遍。
2. 为什么有了Docker客户端了，还要用Docker Compose，是不是多此一举？要知道如果你下载其他GitHub项目很多的话，用`docker run`这种命令也可以安装。这个就必须说Docker，它最大的强项是把软件所有依赖都打包到了里头，所以运行一个复杂的小项目会省掉很多本地配置。Docker 可以有效管理单个容器，但当你需要管理一个包含多个容器的复杂应用时，Docker Compose 就显得尤为重要了。尤其我们初学者，如果你一开始的时候，总是使用`docker run`这种命令，你会在docker里面迷失的，会觉得难受。而Docker Compose就很舒服了。

Docker Compose实际上是围绕一个docker-compose.yml 文件工作的，举个例子：

# 没有Docker Compose的时候，你需要通过终端输入很多指令，一条一条run：
docker run -d --name db postgres
docker run -d --name web --link db:db my-web-app
# 但是你如果有docker-compose.yml 文件，如果像上面跑的数据库和后端服务，一般里面是这样的：
version: '3'
services:
  db:
    image: postgres
    environment:
      POSTGRES_PASSWORD: example
  web:
    image: my-web-app
    depends_on:
      - db
    ports:
      - "8000:8000"
# 直接输入下面的指令就好：
docker compose up

# 下载完dify客户端以后，在docker的文件下面执行的就是这个命令：
docker compose up -d
这里的`-d`，指的是`启动`，它是 detach 的缩写，表示让容器在后台运行。使用`-d`选项运行容器时，命令会立即返回，你的终端不会被容器的输出占用，这样你可以继续在同一个终端会话中执行其他命令。

方式二【源码安装】：

步骤1. 硬件：最低安装要求

安装 Dify 之前, 请确保你的机器已满足最低安装要求：CPU >= 2 Core，RAM >= 4 GiB

源码安装主要可以参考文档：dify官网中文安装说明

步骤2: 业务服务前的3个服务

官网给的安装说明中只说了可以用docker启动这3个服务： PostgreSQL / Redis / Weaviate

cd docker
cp middleware.env.example middleware.env
docker compose -f docker-compose.middleware.yaml up -d

在启用业务服务之前，我们需要先部署 PostgreSQL / Redis / Weaviate（如果本地没有的话），那么如果没有docker，或者不想用docker怎么做呢？

1. 安装工具：

Linux：用apt-get安装，

sudo apt-get update

2. 安装redis，wget，nginx，nodejs，npm等必备工具 

#安装pg redis
sudo apt install redis-server wget postgresql postgresql-client -y
 
sudo apt install nginx nodejs npm -y
 
sudo wget https://github.com/weaviate/weaviate/releases/download/v1.27.12/weaviate-v1.27.12-linux-amd64.tar.gz
 
sudo tar -zxf weaviate-v1.27.12-linux-amd64.tar.gz
 
#安装向量数据库
sudo chmod +x weaviate
 
sudo mv weaviate /opt
设置数据库密码：

修改/etc/redis/redis.conf，添加：requirepass difyai123456

3. 启动服务

# 启动redis：

service redis-server start

# 启动pg：

service postgresql start 

# 修改pg密码：

su - postgres
 
psql
 
CREATE DATABASE dify;
 
ALTER USER postgres WITH PASSWORD 'difyai123456';
 
quit;

# 启动weaviate：

export PERSISTENCE_DATA_PATH=/var/lib/weaviate
export QUERY_DEFAULTS_LIMIT=25
export AUTHENTICATION_ANONYMOUS_ACCESS_ENABLED=false
export DEFAULT_VECTORIZER_MODULE=none
export CLUSTER_HOSTNAME=node1
export AUTHENTICATION_APIKEY_ENABLED=true
export AUTHENTICATION_APIKEY_ALLOWED_KEYS=WVF5YThaHlkYwhGUSmCRgsX3tD5ngdN8pkih
export AUTHENTICATION_APIKEY_USERS=hello@dify.ai
export AUTHORIZATION_ADMINLIST_ENABLED=true
export AUTHORIZATION_ADMINLIST_USERS=hello@dify.ai
 
cd /opt
nohup ./weaviate --host 0.0.0.0 --port '8080' --scheme http |tee ./weaviate.log 2>&1 &

MAC：用brew安装，brew最好设置国内镜像

brew install postgresql

步骤3: Clone Dify 代码：

git clone https://github.com/langgenius/dify.git
再按照文档进行源码安装，文档中如果执行poetry shell失败的话以下命令要带上poetry run，否则会报错

poetry run flask db upgrade

步骤4: 启动前端，后端，和worker

启动前端

#启动前端
export NEXT_PUBLIC_DEPLOY_ENV=DEVELOPMENT
export NEXT_PUBLIC_EDITION=SELF_HOSTED
export NEXT_PUBLIC_API_PREFIX=/console/api  #不设置默认访问http://localhost/console/api
export NEXT_PUBLIC_PUBLIC_API_PREFIX=/api  #不设置默认访问http://localhost/api
export NEXT_PUBLIC_SENTRY_DSN=
export NEXT_TELEMETRY_DISABLED=1
export NEXT_PUBLIC_UPLOAD_IMAGE_AS_ICON=false
export NEXT_PUBLIC_TEXT_GENERATION_TIMEOUT_MS=60000
export NEXT_PUBLIC_CSP_WHITELIST=
export NEXT_PUBLIC_TOP_K_MAX_VALUE=10
export NEXT_PUBLIC_INDEXING_MAX_SEGMENTATION_TOKENS_LENGTH=4000
nohup npm run start &

启动worker 

#启动worker
#start backend
export CONSOLE_API_URL=
export APP_API_URL=
export WEB_SENTRY_DSN=
export NEXT_TELEMETRY_DISABLED=0
export TEXT_GENERATION_TIMEOUT_MS=60000
export CSP_WHITELIST=
export TOP_K_MAX_VALUE=10
export INDEXING_MAX_SEGMENTATION_TOKENS_LENGTH=4000
cd /app/dify/api
nohup poetry run  celery -A app.celery worker -P gevent -c 1 -Q dataset,generation,mail,ops_trace --loglevel INFO ./celery.log 2>&1 &

启动后端 

nohup poetry run flask run --host 0.0.0.0 --port=5001 --debug |tee ./backend.log 2>&1 &

步骤5:配置代理nginx

这样跑起来只适合本机访问，如果要从公网访问还要加一层nginx，我们在前面已安装nginx，这里我们就配置nginx，让其可以代理访问dify

修改/etc/nginx/nginx.conf如下：

user www-data;
worker_processes auto;
pid /run/nginx.pid;
error_log /var/log/nginx/error.log;
include /etc/nginx/modules-enabled/*.conf;
 
events {
        worker_connections 768;
        # multi_accept on;
}
 
http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;
 
    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';
 
    access_log  /var/log/nginx/access.log  main;
 
    sendfile        on;
    #tcp_nopush     on;
         
    keepalive_timeout  65;
         
    #gzip  on;
    client_max_body_size 15M;
             
    include /etc/nginx/conf.d/*.conf;
}

修改文件 /etc/nginx/conf.d/default.conf

server {
    listen 8080;
    server_name _;
 
    location /console/api {
      proxy_pass http://127.0.0.1:5001;
    }
 
    location /api {
      proxy_pass http://127.0.0.1:5001;
    }
 
    location /v1 {
      proxy_pass http://127.0.0.1:5001;
    }
 
    location /files {
      proxy_pass http://127.0.0.1:5001;
    }
 
    location / {
      proxy_pass http://127.0.0.1:3000;
    }
 
}

AI写代码
重启nginx：systemctl restart nginx

通过命令netstat -natp 确认nginx确实监听8080端口

访问 http://虚拟机ip:8080  后续页面访问同方式一

踩坑记录：

踩坑： pyenv

Pyenv下载包非常慢，直接用官网的python包安装python

踩坑：poetry工具

1. poetry install时一直提示Cannot install alibabacloud-tea因为 _cffi_backend找不到

   • 错误ERROR: Invalid requirement: '_cffi_backend': Expected package name at the start of dependency specifier： _cffi_backend。

   • 解决办法：一定要用poetry安装cffi包才行，poetry add cffi 

2. 安装onnxruntime错误

   • 信息： Installing onnxruntime (1.21.0): Failed

   • 解决办法：版本不对，用pip安装能成功，pip install onnxruntime -i https://pypi.tuna.tsinghua.edu.cn/simple/，查到对应的安装成功的版本是1.19.2，指定版本安装即可poetry add onnxruntime@1.19.2

3. Installing grpcio (1.67.1): Failed  TimeoutError​​​​​​​​​​​​​​

错误：The read operation timed out，在api目录下pyproject.toml项目最后添加对应的国内镜像

1. [[tool.poetry.source]] 
   name = "tuna" 
   url = "https://pypi.tuna.tsinghua.edu.cn/simple/

   ​​​​​​并执行poetry lock，重新执行poetry install

踩坑： flask、postgreSQL

1. flask不存在：​​​​​​​

解决：执行这个命令直接说flask不存在，根据上面步骤继续执行poetry add flask，然后再次执行

2. postgreSQL Connection refused：postgresql没有配置用户密码，也没有启动服务

sqlalchemy.exc.OperationalError: (psycopg2.OperationalError) connection to server at "localhost" (::1), port 5432 failed: Connection refused Is the server running on that host and accepting TCP/IP connections? connection to server at "localhost" (127.0.0.1), port 5432 failed: Connection refused Is the server running on that host and accepting TCP/IP connections?

解决办法：

psql --version查询到数据库已有安装

psql (PostgreSQL) 14.17 (Homebrew)用brew install安装过了

initdb /usr/local/var/postgres，初始化数据库

pg_ctl -D /usr/local/var/postgres -s -o "-s" start

在mac上安装了postgresql。在安装过程中，我没有被问到postgresql的密码。 这很正常，因为brew不需要或创建任何postgres帐户。PostgreSQL进程在您自己的帐户下运行。有关信息，请参见brew info postgres的输出。 要创建新的数据库帐户，您可以从自己的操作系统帐户启动： /usr/local/bin/createdb postgres提示数据库已存在（使用以下命令进入到数据库中） 在psql中： /usr/local/bin/psql -d postgres 然后作为SQL命令：CREATE USER postgres PASSWORD 'yourpassword'; 这应该可以工作，因为brew通常在initdb时间创建：

• 一个数据库超级用户帐户，与您的操作系统帐户具有相同的登录名（在您的情况下似乎是xx）

• 名为postgres的数据库，可用于记录管理任务（如创建用户）的信息。

创建好用户，还没完成，还需要有这个数据库dify

/usr/local/bin/psql -d postgres

进入psql，创建数据库dify

/usr/local/bin/createdb dify

sqlalchemy.exc.ProgrammingError: (psycopg2.errors.InsufficientPrivilege) permission denied to create extension "uuid-ossp" HINT: Must have CREATE privilege on current database to create this extension.

/usr/local/bin/psql -d postgres  -- 进入psql 
​​​​​​​ALTER USER postgres CREATEDB; -- 创建数据库权限 
GRANT CONNECT ON DATABASE dify TO postgres; --连接数据权限 
GRANT CREATE ON DATABASE dify TO postgres; -- 数据库的创建权限 
CREATE ROLE admin WITH CREATEDB CREATEROLE; -- 角色和库创建权限 
GRANT admin TO postgres; --授予admin权限给postgres 
\q

再次执行poetry run flask db upgrade终于成功了

踩坑：root未定义

poetry run flask run --host 0.0.0.0 --port=5001 --debug

File "/Users/xx/Desktop/xx/dify/api/extensions/ext_storage.py", line 31, in <lambda>
    return lambda: OpenDALStorage(dify_config.OPENDAL_SCHEME)
                   ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/Users/xx/Desktop/xx/dify/api/extensions/storage/opendal_storage.py", line 37, in __init__
    self.op = opendal.Operator(scheme=scheme, **kwargs)  # type: ignore
              ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
opendal.exceptions.ConfigInvalid: ConfigInvalid (permanent) at  => root is not specified

找到文件：api/extensions/storage/opendal_storage.py

注释修改代码行：

# self.op = opendal.Operator(scheme=scheme, **kwargs) type: ignore 
self.op = opendal.Operator(scheme=scheme, 
root='/Users/xx/Desktop/xx/dify/api/storage')