dolphinscheduler搭配datax跨库数据库全量更新

DataX开源版本部署与配置教程：从下载到项目设置

原创

已于 2024-05-29 14:06:22 修改 · 1.9k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#数据库

于 2024-05-22 16:55:50 首次发布

1、下载datax

GitHub - alibaba/DataX: DataX是阿里云DataWorks数据集成的开源版本。

在服务器中使用wget 下载url下载tar.gz包

执行tar -zxvf datax.tar.gz

2、配置datax及python环境

配置地址在/dolphinscheduler-bin/bin/env/dolphinscheduler_env.sh

修改如下：

# JAVA_HOME, will use it to start DolphinScheduler server
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

# Database related configuration, set database type, username and password
export DATABASE=${DATABASE:-postgresql}
export SPRING_PROFILES_ACTIVE=postgresql
export SPRING_DATASOURCE_URL=jdbc:postgresql://127.0.0.1:5432/dolphinscheduler
export SPRING_DATASOURCE_USERNAME=postgres
export SPRING_DATASOURCE_PASSWORD=postgres

# DolphinScheduler server related configuration
export SPRING_CACHE_TYPE=${SPRING_CACHE_TYPE:-none}
export SPRING_JACKSON_TIME_ZONE=${SPRING_JACKSON_TIME_ZONE:-UTC}
export MASTER_FETCH_COMMAND_N