DolphinScheduler 之Docker 部署_dolphinscheduler docker部署

$ tar -zxvf apache-dolphinscheduler-1.3.9-src.tar.gz
$ cd apache-dolphinscheduler-1.3.9-src/docker/docker-swarm
$ docker pull dolphinscheduler.docker.scarf.sh/apache/dolphinscheduler:1.3.9
$ docker tag apache/dolphinscheduler:1.3.9 apache/dolphinscheduler:latest
$ docker-compose up -d

PowerShell 应该使用 cd apache-dolphinscheduler-1.3.9-src\docker\docker-swarm

PostgreSQL (用户 root, 密码 root, 数据库 dolphinscheduler) 和 ZooKeeper 服务将会默认启动

3、登录系统

访问前端页面：http://localhost:12345/dolphinscheduler，如果有需要请修改成对应的 IP 地址

默认的用户是admin，默认的密码是dolphinscheduler123

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kTqmLfVE-1646312172369)(https://dolphinscheduler.apache.org/img/login.png)]

请参考用户手册章节的快速上手 查看如何使用DolphinScheduler

二、通过指定已存在的 PostgreSQL 和 ZooKeeper 服务

这种方式需要先安装 docker, docker 的安装网上已经有非常多的资料，请自行安装即可

1、基础软件安装 (请自行安装)

• PostgreSQL (8.2.15+)
• ZooKeeper (3.4.6+)
• Docker (1.13.1+)

2、请登录 PostgreSQL 数据库，创建名为 dolphinscheduler 数据库

3、初始化数据库，导入 sql/dolphinscheduler_postgre.sql 进行创建表及基础数据导入

4、下载 DolphinScheduler 镜像

我们已将面向用户的 DolphinScheduler 镜像上传至 docker 仓库，用户无需在本地构建镜像，直接执行以下命令从 docker 仓库 pull 镜像：

docker pull dolphinscheduler.docker.scarf.sh/apache/dolphinscheduler:1.3.9

5、运行一个 DolphinScheduler 实例

$ docker run -d --name dolphinscheduler \
-e DATABASE_HOST="192.168.x.x" -e DATABASE_PORT="5432" -e DATABASE_DATABASE="dolphinscheduler" \
-e DATABASE_USERNAME="test" -e DATABASE_PASSWORD="test" \
-e ZOOKEEPER_QUORUM="192.168.x.x:2181" \
-p 12345:12345 \
apache/dolphinscheduler:1.3.9 all

注：数据库用户 test 和密码 test 需要替换为实际的 PostgreSQL 用户和密码，192.168.x.x 需要替换为 PostgreSQL 和 ZooKeeper 的主机 IP

6、登录系统

同上

三、运行 DolphinScheduler 中的独立服务

在容器启动时，会自动启动以下服务：

    MasterServer         ----- master服务
    WorkerServer         ----- worker服务
    LoggerServer         ----- logger服务
    ApiApplicationServer ----- api服务
    AlertServer          ----- alert服务

如果你只是想运行 dolphinscheduler 中的部分服务

你可以够通执行以下命令来运行dolphinscheduler中的部分服务

• 启动一个 master server, 如下:

$ docker run -d --name dolphinscheduler-master \
-e DATABASE_HOST="192.168.x.x" -e DATABASE_PORT="5432" -e DATABASE_DATABASE="dolphinscheduler" \
-e DATABASE_USERNAME="test" -e DATABASE_PASSWORD="test" \
-e ZOOKEEPER_QUORUM="192.168.x.x:2181" \
apache/dolphinscheduler:1.3.9 master-server

• 启动一个 worker server (包括 logger server), 如下:

$ docker run -d --name dolphinscheduler-worker \
-e DATABASE_HOST="192.168.x.x" -e DATABASE_PORT="5432" -e DATABASE_DATABASE="dolphinscheduler" \
-e DATABASE_USERNAME="test" -e DATABASE_PASSWORD="test" \
-e ZOOKEEPER_QUORUM="192.168.x.x:2181" \
apache/dolphinscheduler:1.3.9 worker-server

• 启动一个 api server, 如下:

$ docker run -d --name dolphinscheduler-api \
-e DATABASE_HOST="192.168.x.x" -e DATABASE_PORT="5432" -e DATABASE_DATABASE="dolphinscheduler" \
-e DATABASE_USERNAME="test" -e DATABASE_PASSWORD="test" \
-e ZOOKEEPER_QUORUM="192.168.x.x:2181" \
-p 12345:12345 \
apache/dolphinscheduler:1.3.9 api-server

• 启动一个 alert server, 如下:

$ docker run -d --name dolphinscheduler-alert \
-e DATABASE_HOST="192.168.x.x" -e DATABASE_PORT="5432" -e DATABASE_DATABASE="dolphinscheduler" \
-e DATABASE_USERNAME="test" -e DATABASE_PASSWORD="test" \
apache/dolphinscheduler:1.3.9 alert-server

注意: 当你运行dolphinscheduler中的部分服务时，你必须指定这些环境变量 DATABASE_HOST, DATABASE_PORT, DATABASE_DATABASE, DATABASE_USERNAME, DATABASE_PASSWORD, ZOOKEEPER_QUORUM。

环境变量

Docker 容器通过环境变量进行配置，附录-环境变量 列出了 DolphinScheduler 的可配置环境变量及其默认值

特别地，在 Docker Compose 和 Docker Swarm 中，可以通过环境变量配置文件 config.env.sh 进行配置

支持矩阵

Type	支持	备注
Shell	是
Python2	是
Python3	间接支持	详见 FAQ
Hadoop2	间接支持	详见 FAQ
Hadoop3	尚未确定	尚未测试
Spark-Local(client)	间接支持	详见 FAQ
Spark-YARN(cluster)	间接支持	详见 FAQ
Spark-Standalone(cluster)	尚不
Spark-Kubernetes(cluster)	尚不
Flink-Local(local>=1.11)	尚不	Generic CLI 模式尚未支持
Flink-YARN(yarn-cluster)	间接支持	详见 FAQ
Flink-YARN(yarn-session/yarn-per-job/yarn-application>=1.11)	尚不	Generic CLI 模式尚未支持
Flink-Standalone(default)	尚不
Flink-Standalone(remote>=1.11)	尚不	Generic CLI 模式尚未支持
Flink-Kubernetes(default)	尚不
Flink-Kubernetes(remote>=1.11)	尚不	Generic CLI 模式尚未支持
Flink-NativeKubernetes(kubernetes-session/application>=1.11)	尚不	Generic CLI 模式尚未支持
MapReduce	间接支持	详见 FAQ